# 数据服务
# 概述
数据治理的服务套件,主要包括数据的采集、数据挖掘、实时计算、数据安全接口服务等,形成统一的服务管理能力
# 服务列表
以下是对数据服务模块的功能描述:
序号 | 服务 | 模块名称 | 备注 |
---|---|---|---|
27 | 01. 主数据服务 | alinesno-infra-data-mdm | 提供主数据管理的功能,用于集中管理和维护组织中的核心数据。 |
28 | 02. 数据上报服务 | alinesno-infra-data-report | 提供数据上报的功能,用于接收和处理用户上报的数据。 |
29 | 03. 数据集成服务 | alinesno-infra-data-pipeline | 提供数据集成的功能,用于将不同数据源的数据进行整合和转换。 |
30 | 04. 数据开发服务 | alinesno-infra-data-dolphinscheduler | 提供数据开发的功能,使用DolphinScheduler进行数据的调度和处理。 |
31 | 05. 实时计算服务 | alinesno-infra-data-stream | 提供实时计算的功能,使用Flink进行流式数据的处理和分析。 |
32 | 06. 数据安全服务 | alinesno-infra-data-security | 提供数据安全的接口服务,包括数据加密、权限控制、访问审计等功能,确保数据的安全性和合规性。 |
34 | 08. 数据总线服务 | alinesno-infra-data-bus | 提供数据总线的服务,用于数据的传输和交换,支持异构系统之间的数据交互。 |
35 | 09. 数据资产服务 | alinesno-infra-data-assets | 提供数据资产管理的功能,用于管理和维护组织的数据资产,包括数据目录、数据词典、数据血缘等。 |
请注意,以上功能描述仅供参考,具体的功能和实现细节可能根据实际需求和系统架构进行调整。
# 功能架构
以下是数据服务的所有功能列表
序号 | 服务 | 模块 | 功能名称 | 功能描述 | 备注 |
---|---|---|---|---|---|
27 | 01. 主数据服务 | 概述 | 仪盘表 | 提供主数据服务的仪表板功能。 | |
主数据管理 | 数据历史 | 记录主数据的历史变更信息。 | |||
目录历史 | 记录主数据目录的历史变更信息。 | ||||
业务系统 | 管理与主数据相关的业务系统信息。 | ||||
数据标准 | 管理主数据的标准定义和规范。 | ||||
数据目录 | 管理主数据的目录结构和层级关系。 | ||||
接口管理 | 调用统计 | 统计主数据服务的接口调用次数和频率。 | |||
接口日志 | 记录主数据服务的接口调用日志。 | ||||
接口管理 | 管理主数据服务的接口配置和权限控制。 | ||||
28 | 02. 数据上报服务 | 概述 | 仪盘表 | 提供数据上报服务的仪表板功能。 | |
数据上报 | 历史数据 | 记录数据的历史上报信息。 | |||
数据管理 | 管理上报的数据,包括查看、编辑和删除等操作。 | ||||
业务模型 | 定义上报数据的业务模型和字段规范。 | ||||
上报文件 | 上传和管理上报数据的文件。 | ||||
回收站 | 存放被删除的数据,可进行恢复或永久删除。 | ||||
数据分享 | 允许用户分享上报的数据给其他人或团队。 | ||||
配置管理 | 定时任务 | 配置定时上报任务的执行时间和频率。 | |||
上报异常 | 监控和处理数据上报过程中的异常情况。 | ||||
29 | 03. 数据集成服务 | 概述 | 仪盘表 | 提供数据集成服务的仪表板功能。 | |
监控管理 | 转换日志 | 记录数据转换过程中的日志信息。 | |||
作业日志 | 记录数据集成作业执行过程中的日志信息。 | ||||
转换监控 | 监控数据转换的执行状态和性能指标。 | ||||
作业监控 | 监控数据集成作业的执行状态和性能指标。 | ||||
任务管理 | 转换管理 | 管理数据转换任务的创建、编辑和删除等操作。 | |||
作业管理 | 管理数据集成作业的创建、编辑和删除等操作。 | ||||
任务分类 | 对任务进行分类和分组管理。 | ||||
服务配置 | 仓库配置 | 配置数据集成服务所需的数据仓库信息。 | |||
定时策略 | 配置数据集成任务的定时执行策略。 | ||||
30 | 04. 数据开发服务 | 概述 | 仪盘表 | 提供数据开发服务的仪表板功能。 | |
应用首页 | 展示数据开发服务的应用首页。 | ||||
项目管理 | 项目列表 | 管理数据开发项目的创建、编辑和删除等操作。 | |||
工作流定义 | 定义数据开发的工作流程和任务依赖关系。 | ||||
工作流实例 | 监控和管理数据开发工作流的执行实例。 | ||||
任务实例 | 监控和管理数据开发任务的执行实例。 | ||||
任务定义 | 定义数据开发中的具体任务和逻辑。 | ||||
参数 | 内置参数 | 管理数据开发中的内置参数。 | |||
全局参数 | 管理数据开发中的全局参数。 | ||||
本地参数 | 管理数据开发中的本地参数。 | ||||
参数传递 | 在任务之间传递参数的配置和管理。 | ||||
参数优先级 | 配置和管理数据开发中参数的优先级。 | ||||
数据源中心 | 数据源中心 | 管理数据开发所需的数据源信息。 | |||
告警 | 告警 | 配置和管理数据开发的告警规则和通知方式。 | |||
资源中心 | 配置详情 | 查看和管理数据开发所需的资源配置信息。 | |||
文件管理 | 管理数据开发过程中的文件和附件。 | ||||
UDF 管理 | 管理数据开发中的自定义函数。 | ||||
任务组管理 | 管理数据开发任务的分组和分类。 | ||||
监控中心 | 监控中心 | 监控数据开发任务和工作流的执行状态和性能指标。 | |||
安全中心 | 安全中心 | 配置和管理数据开发服务的安全设置。 | |||
指标相关 | 指标 | 定义和管理数据开发中的指标。 | |||
31 | 05. 实时计算服务 | 概述 | 仪盘表 | 提供实时计算服务的仪表板功能。 | |
运行配置 | 系统配置 | 配置实时计算服务的系统参数和运行环境。 | |||
二方库管理 | 管理实时计算任务所需的二方库依赖。 | ||||
任务管理 | 任务列表 | 管理实时计算任务的创建、编辑和删除等操作。 | |||
任务日志 | 记录实时计算任务的执行日志和运行状态。 | ||||
历史版本 | 管理实时计算任务的历史版本和回滚操作。 | ||||
保存点 | 管理实时计算任务的保存点和恢复操作。 | ||||
告警日志 | 记录实时计算任务的告警信息和通知方式。 | ||||
32 | 06. 数据安全服务 | 概述 | 仪盘表 | 提供数据安全服务的仪表板功能。 | |
功能列表 | 服务管理 | 管理数据安全服务的各项功能和服务。 | |||
负载管理 | 管理数据安全服务的负载均衡和性能优化。 | ||||
客户端管理 | 管理数据安全服务的客户端访问权限和安全性。 | ||||
IP黑名单 | 管理不信任的IP地址列表,限制访问数据安全服务。 | ||||
接口统计 | 统计数据安全服务的接口调用次数和频率。 | ||||
接口监控 | 监控数据安全服务的接口运行状态和性能指标。 | ||||
34 | 08. 数据总线服务 | 概述 | 仪盘表 | 提供数据总线服务的仪表板功能。 | |
功能列表 | 应用管理 | 管理应用的配置信息,包括创建、编辑、删除应用等操作。 | |||
业务线(主题) | 管理业务线或主题的配置信息,包括创建、编辑、删除业务线等操作。 | ||||
消息管理 | 管理事务消息的发送和接收,包括消息的发布、订阅、重试等操作。 | ||||
请求记录 | 记录事务消息服务的请求信息,包括请求时间、请求参数、请求结果等。 | ||||
消息模板 | 管理事务消息的模板,包括创建、编辑、删除模板等操作。 | ||||
异常消息 | 查看和处理发送失败或接收失败的异常消息。 | ||||
消息配置 | 配置事务消息的相关参数,包括消息的超时时间、重试次数等。 | ||||
35 | 09. 数据资产服务 | 概述 | 仪盘表 | 提供数据资产服务的仪表板功能。 | |
资产管理 | 资产类型 | 管理数据资产的不同类型和分类。 | |||
资产导航 | 提供数据资产的导航和搜索功能。 | ||||
资产编目 | 对数据资产进行编目和分类管理。 | ||||
资产集成 | 集成资产 | 将外部数据资产集成到数据资产服务中。 | |||
数据模型 | 资产仓库 | 存储和管理数据资产的模型和定义。 | |||
质量规范 | 管理数据资产的质量规范和标准。 | ||||
模型管理 | 管理数据资产的模型和定义。 | ||||
数据服务 | 接口分类 | 对数据资产服务的接口进行分类管理。 | |||
接口管理 | 管理数据资产服务的接口配置和权限控制。 | ||||