(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210376198.8 (22)申请日 2022.04.11 (71)申请人 杭州半云科技有限公司 地址 310000 浙江省杭州市西湖区转塘科 技经济区块16号3幢2 96室 (72)发明人 姚家渭　兰蔚青　林玉　 (74)专利代理 机构 杭州山泰专利代理事务所 (普通合伙) 33438 专利代理师 张飞 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/23(2019.01) G06F 16/28(2019.01) G06F 16/13(2019.01) G06F 16/16(2019.01)G06F 16/17(2019.01) G06F 16/182(2019.01) G06F 16/25(2019.01) G06F 9/48(2006.01) G06F 11/30(2006.01) G06F 21/62(2013.01) (54)发明名称 大数据集成和管理的Pa aS平台 (57)摘要 本发明公开了大数据集成和管理的PaaS平 台， 包括数据开发模块、 数据对账模块和元数据 管理系统， 所述数据开发模块用于接入多源异构 的数据源， 并在数据中心对数据进行加工， 所述 元数据管 理系统用于对数据源进行元数据采集， 获悉数据源的构成、 数据表结构和索引的元数据 信息， 获得并展示数据在数据流中的演化过程， 支持字段级的数据血缘， 以及展示数据全链关 系。 本发明中， 通过统一的数据采集配置， 统一调 用数据基础设施， 融合关联所有数据， 在数据应 用层， 通过统一的数据AP  I， 向数据应用提供透 明访问的数据服务， 保证数据安全的同时， 减少 使用数据技术的复杂性， 提供了丰富的数据适配 器， 实现了自由适配各类现代化数据基础设施。 权利要求书2页 说明书10页 附图9页 CN 114925045 A 2022.08.19 CN 114925045 A 1.大数据集成和管理的PaaS平台， 其特征在于， 包括数据开发模块、 数据对账模块和元 数据管理系统， 所述数据开发模块用于接入多源异构的数据源， 并在数据中心对数据进行 加工， 即利用JDBC或者OGG工具从数据源中抽取数据， 对抽取的数据按照规定格式进行解析 和清洗， 再利用Flume、 Kafka组件将解析和清洗后的数据转换为消息队列， 通过消息队列将 解析和清洗后的数据 送至数据中心下的主题库中， 其中， 所述数据源包括关系型数据库、 非 关系型数据库、 流式数据和大 数据组件； 在数据接入时， 通过数据结账模块对数据提供方和接入方在某一对账时间节点的数据 的完整性、 一致性和 正确性进行核对和校验， 若出现数据提供方和接入方对应的数据条数 不一致， 则进行 数据的重新接入或者增量接入； 所述元数据管理系统用于对数据源进行元数据采集， 获悉数据源的构成、 数据表结构 和索引的元数据信息， 获得并展示数据在数据流中的演化过程， 支持字段级的数据血缘， 以 及展示数据全链关系； 所述元数据管理系统包括元模型管理模块、 元数据管理模块和元数据采集模块， 在所 述元模型管理模块进 行元模型的构建， 在元数据管理模块选择元模型构建元数据采集悬挂 路径， 在元数据采集模块创建元数据采集任务， 并输入任务名称、 选择数据源、 适配器类型、 适配器、 采集模式、 数据库名 和悬挂路径以配置采集任务， 运行采集任务采集元数据， 采集 成功后在元数据管理模块查看采集结果， 并对采集的元数据进行发布审批， 审批通过的元 数据为定版元数据， 定版元数据支持进行血缘分析、 影响分析、 全链分析， 以及与标准进行 落地评估、 生成落 地评估报告。 2.根据权利要求1所述的大数据集成和管理的PaaS平台， 其特征在于， 还包括数据质量 模块， 所述数据质量模块包括规则录入模块、 运行质检模块和问题知识库， 平台使用者在规 则录入模块录入或者修改数据质量规则， 并与主题库中的数据表进行关联， 多种规则组成 质检方案以进 行数据质检， 在运行质检模块中运行数据质检任务， 并生成质量分析报告， 汇 总历史质量分析报告发送至问题知识库中， 其中， 在运行数据质检任务过程中， 若 数据质检 达到告警， 则发送告警通知至平台使用者， 对数据进 行整改， 质量整改后的数据返回数据中 心下的对应主题库中。 3.根据权利要求2所述的大数据集成和管理的PaaS平台， 其特征在于， 还包括数据 标准 模块， 在数据标准模块根据标准划分进 行不同属性标准的创建， 创建的标准 发起标准评审， 审批通过的标准形成定版数据标准， 定版数据标准与定版元数据进行落地映射， 实现数据 标准的统一， 其中， 所述标准划分包括 业务数据标准、 管理数据标准与技 术数据标准。 4.根据权利要求3所述的大数据集成和管理的PaaS平台， 其特征在于， 还包括数据服务 模块， 所述数据服 务模块提供将数据中心的数据表生成数据API的能力。 5.根据权利要求4所述的大数据集成和管理的PaaS平台， 其特征在于， 还包括数据资产 模块， 所述数据资产模块包括数据管 理模块、 数据查询模块和流程管理模块， 所述数据管 理 模块包括数据表管理模块、 API管理模块、 文件管理模块和目录管理模块； 所述数据表管理模块用于同步数据中心下各个数据库中的所有数据表， 在目录管理模 块中进行数据目录的创建， 创建完成后在数据表、 API、 文件管理模块中与数据目录进行关 联编辑， 在流程管理模块中对数据表、 API和文件进行上架， 以及数据使用权限申请的审批 流程， 上架、 审批通过后， 在数据查询模块的对应数据目录查看上架的数据表、 API和文件。权　利　要　求　书 1/2 页 2 CN 114925045 A 26.根据权利要求5所述的大数据集成和管理的PaaS平台， 其特征在于， 还包括任务调度 模块， 所述任务调度模块包括任务执行器和调度中心， 所述任务执行器根据配置的调度中 心的地址， 自动注册到调度中， 达到任务触发条件， 调度中心下发任务， 任务执行器基于线 程池执行任务， 并将执行结果放入内存队列中， 执行日志写入日志文件中， 任务执行器回调 线程消费内存队列中的执行结果， 主动上报给调度中心， 在调 度中心查看任务日志， 调 度中 心请求任务执 行器， 任务执 行器读取日志文件并返回日志详情。 7.根据权利要求6所述的大数据集成和管理的PaaS平台， 其特征在于， 还包括运维监控 模块， 所述运维监控模块对PssS平台的全部任务进行监控， 任务出现异常时发出警告以提 醒处理。 8.根据权利要求7所述的大数据集成和管理的PaaS平台， 其特征在于， 还包括数据安全 模块， 通过数据安全模块对数据接入到形成数据资产对外提供服务的全过程中对数据实现 保护， 敏感数据进行脱敏处 理。 9.根据权利要求1所述的大数据集成和管理的PaaS平台， 其特征在于， 平台使用者在数 据对账模块中创建对账策略， 创建的对账策略与接入的数据库的同步任务进行关联调度， 检验该数据库下数据 表的对账情况， 并将结果生成报告反馈， 其中， 所述对账策略包括策略 名称、 即时对账、 定时对账和描述， 以及定时对账的规则。权　利　要　求　书 2/2 页 3 CN 114925045 A 3