(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211078990.1 (22)申请日 2022.09.05 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 操庐宁　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 孔祥贵 (51)Int.Cl. G06F 16/13(2019.01) G06F 16/215(2019.01) G06F 16/25(2019.01) G06F 16/11(2019.01) G06F 16/16(2019.01)G06Q 40/02(2012.01) G06F 9/445(2018.01) (54)发明名称 一种数据处 理方法及装置 (57)摘要 本申请公开了一种数据处理方法， 可以应用 于金融领域或者其它领域。 该方法包括： 接收第 一文件， 判断所述第一文件是否为联机文件。 在 确定所述第一文件为联机文件的情况下， 为所述 第一文件添加标识信息； 进一步地， 确定包括所 述标识信息的文件的总数； 在所述总数等于上游 节点下发的联机文件的总数量的情况下， 将包括 所述标识信息的文件写入至数据湖中， 其中， 所 述联机文件的总数量， 根据上游节 点下发的联机 文件清单确定。 由于所述总数等于上游节点下发 的联机文件的总数量， 说明所有联机文件均已接 收完成。 利用本方案， 在确定所有联机文件均已 接收完成的情况下， 才将联机文件写入至数据湖 中， 从而避免将存在缺失的联机文件写入数据湖 而浪费I/O 资源。 权利要求书2页 说明书7页 附图3页 CN 115328861 A 2022.11.11 CN 115328861 A 1.一种数据处 理方法， 其特 征在于， 所述方法包括： 接收第一文件； 判断所述第一文件是否为联机文件； 在确定所述第一文件为联机文件的情况 下， 为所述第一文件添加标识信息； 确定包括所述标识信息的文件的总数， 所述包括所述标识信息的文件， 包括所述第一 文件； 在所述总数等于上游节点下发的联机文件的总数量的情况下， 将包括所述标识信 息的 文件写入至数据湖中， 其中， 所述联机文件的总数量， 根据上游节点下发的联机文件清单确 定。 2.根据权利要求1所述的方法， 其特 征在于， 所述 为所述第一文件添加标识信息， 包括： 为所述第一文件添加尾缀信息 。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在确定所述第一文件不是联机文件的情况下， 将所述第一文件写入所述数据湖中， 并 在文件上传清单中添加所述第一文件 对应的记录； 确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中； 若所述第一文件所属的表中的文件是否均已经写入至所述数据湖中， 则在文件到齐清 单中添加所述第一文件所属的表的记录 。 4.根据权利要求3所述的方法， 其特征在于， 所述确定所述第 一文件所属的表中的文件 是否均已经写入至所述数据湖中， 包括： 比对所述文件上传清单和文件配置表， 确定所述第 一文件所属的表中的文件是否均已 经写入至所述数据湖中， 所述文件配置表中包括多个表所包括的文件清单， 所述多个表包 括所述第一文件所属的表。 5.根据权利要求4所述的方法， 其特征在于， 所述 比对所述文件上传清单和文件配置 表， 确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中， 包括： 提取所述第一文件的索引信息， 所述索引信息用于指示所述第一文件所属的表； 基于所述索引信息， 从所述文件上传清单中确定具 备所述索引信息的至少一个记录； 基于所述索引信息， 从所述文件配置表中确定所述第一文件所属的表的文件清单； 比对所述至少一个记录和所述第 一文件所属的表的文件清单， 确定所述第 一文件所属 的表中的文件是否均已经写入至所述数据湖中。 6.一种数据处 理装置， 其特 征在于， 所述装置包括： 接收单元， 用于接收第一文件； 判断单元， 用于判断所述第一文件是否为联机文件； 第一添加单元， 用于在确定所述第一文件为联机文件的情况下， 为所述第一文件添加 标识信息； 第一确定单元， 用于确定包括所述标识信息的文件的总数， 所述包括所述标识信息的 文件， 包括所述第一文件； 第一写入单元， 用于在所述总数等于上游节点下发的联机文件的总数量的情况下， 将 包括所述标识信息的文件写入至数据湖中， 其中， 所述联机文件的总数量， 根据上游节点下 发的联机文件清单确定 。权　利　要　求　书 1/2 页 2 CN 115328861 A 27.根据权利要求6所述的装置， 其特征在于， 所述第一添加单元， 用于为所述第一文件 添加尾缀信息 。 8.根据权利要求6所述的装置， 其特 征在于， 所述装置还 包括： 第二写入单元， 用于在确定所述第一文件不是联机文件的情况下， 将所述第一文件写 入所述数据湖中， 并在文件上传清单中添加所述第一文件 对应的记录； 第二确定单元， 用于确定所述第 一文件所属的表中的文件是否均已经写入至所述数据 湖中； 第二添加单元， 用于若所述第 一文件所属的表中的文件是否均已经写入至所述数据湖 中， 则在文件到齐清单中添加所述第一文件所属的表的记录 。 9.根据权利要求8所述的装置， 其特 征在于， 所述第二确定单 元， 用于： 比对所述文件上传清单和文件配置表， 确定所述第 一文件所属的表中的文件是否均已 经写入至所述数据湖中， 所述文件配置表中包括多个表所包括的文件清单， 所述多个表包 括所述第一文件所属的表。 10.根据权利要求9所述的装置， 其特征在于， 所述比对所述文件上传清单和文件配置 表， 确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中， 包括： 提取所述第一文件的索引信息， 所述索引信息用于指示所述第一文件所属的表； 基于所述索引信息， 从所述文件上传清单中确定具 备所述索引信息的至少一个记录； 基于所述索引信息， 从所述文件配置表中确定所述第一文件所属的表的文件清单； 比对所述至少一个记录和所述第 一文件所属的表的文件清单， 确定所述第 一文件所属 的表中的文件是否均已经写入至所述数据湖中。权　利　要　求　书 2/2 页 3 CN 115328861 A 3