(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211016098.0 (22)申请日 2022.08.24 (71)申请人 国家气象信息中心 （中国气象局气 象数据中心） 地址 100081 北京市海淀区中关村南大街 46号国家气象信息中心 (72)发明人 刘鑫　何文春　刘媛媛　徐拥军　 倪学磊　周薇薇　韩同欣　李江涛　 (74)专利代理 机构 西安研创天下知识产权代理 事务所(普通 合伙) 61239 专利代理师 王小慧 (51)Int.Cl. H04L 67/1097(2022.01) H04L 67/568(2022.01) H04L 9/40(2022.01)H04L 67/133(2022.01) (54)发明名称 一种基于虚拟数据湖的气象数据文件目录 服务生成方法及系统 (57)摘要 本发明公开了一种基于虚拟数据湖的气象 数据文件目录服务生成方法及系统， 其中方法包 括以下步骤： S1、 对虚拟数据湖的节点位置进行 布设； S2、 管理员对异构文件系统相关信息进行 配置； S3、 管理员 通过虚拟数据湖服务端创建对 外虚拟服务目录， 将多套异构文件系统中的数据 聚合形成统一服务虚拟目录视图， 实现数据虚拟 入湖； S4、 在虚拟数据湖服务端创建用户及用户 所属分组， 并对所属分组进行授权， 授权完成后， 用户获得该分组对目录的读写权限； S5、 用户挂 载文件目录访问客户端， 用户可将虚拟数据湖服 务端的虚拟文件系统中有权限目录直接作为本 地存储进行读写使用。 本发明能够解决 目前一台 存储设备已无法满足容 量的需求的技 术问题。 权利要求书1页 说明书4页 附图2页 CN 115484276 A 2022.12.16 CN 115484276 A 1.一种基于虚拟数据湖的气象数据文件目录服务生成方法， 其特征在于， 包括以下步 骤： S1、 对虚拟数据湖的节点 位置进行布设； S2、 管理员通过虚拟数据湖服务端上的后台管理服务系统对异构文件系统相关信 息进 行配置； S3、 管理员通过虚拟数据湖服务端上的后台管理服务系统界面创建对外虚拟服务目 录， 将多套异构文件系统中的数据聚合形成统一的服 务虚拟目录 视图， 实现数据虚拟入湖； S4、 根据用户使用需求， 在虚拟数据湖服务上的后 台管理服务系统创建用户及用户所 属分组， 并对所属分组进行授权， 授权 完成后， 用户获得 该分组对目录的读写权限； S5、 用户挂载虚拟数据湖文件目录访问客户端， 根据管理员为该用户配置的读写权限， 用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使 用。 2.如权利要求1所述的基于虚拟数据湖的气象数据文件目录服务生成方法， 其特征在 于， 步骤S2中， 所述相关信息为存 储类型、 读写控制、 挂载点和网络地址 。 3.如权利要求1所述的基于虚拟数据湖的气象数据文件目录服务生成方法， 其特征在 于， 步骤S4中， 所述授权方式为直接按照目录层级结构进行授权的方式和按照目录层级中 时间信息实现按时间段或近期天数进行授权的方式 中的任意 一种。 4.一种基于虚拟数据湖的气象数据文件目录服务生成系统， 其特征在于， 包括虚拟数 据湖服务端和虚拟数据湖文件目录访问客户端； 所述虚拟数据湖服务端包含worker节点和master节点， 所述master节点用于集群状态 和元数据管理， w orker节点用于负责处 理文件系统的读写操作请求； 所述虚拟数据湖文件目录访 问客户端， 用于将虚拟文件系统挂载到用户端服务器， 通 过调用虚拟数据湖worker节点提供的文件共享接口， 实现将 远端的虚拟文件系统挂载到本 地的文件系统。 5.如权利要求4所述的基于虚拟数据湖的气象数据文件目录服务生成系统， 其特征在 于， 所述master节点包含后台管理服务系统和元数据服务模块， 所述后台管理服务系统用 于负责异构文件系统统一管理与服务， 系统日志审计及用户行为记录可视化分析； 所述元 数据服务模块用于负责系统元 数据信息存 储， 并将元 数据信息同步给w orker节点。 6.如权利要求4所述的基于虚拟数据湖的气象数据文件目录服务生成系统， 其特征在 于， 所述wor ker节点包含存储接入服务模块、 文件块 缓存服务模块、 虚拟文件系统服务模块 和文件共享服务模块， 所述存储接入服务模块用于负责适配异构存储系统， 集成各种后端 存储， 所述文件块缓存服务模块用于负责在读写后端存储系统的文件后 缓存数据， 所述虚 拟文件系统服务模块用于负责管理虚拟文件系统与后端存储的数据读写管理和用户权限 校验， 所述文件 共享服务模块用于负责对外提供文件访问接口。权　利　要　求　书 1/1 页 2 CN 115484276 A 2一种基于虚拟数据湖的气象数据文件目录服务生成方 法及 系统 技术领域 [0001]本发明属于大数据技术领域， 具体涉及一种基于虚拟 数据湖的气象数据文件目录 服务生成方法及系统。 背景技术 [0002]气象数据是开展气象工作的基础， 而地域范围广、 时空密度大、 种类类型多、 时效 性强、 价值密度高的气象数据资源， 尤其是伴随高分气象卫星发射、 高时空分辨率数值模式 发展、 高探测精度雷达站的广泛部署等情况所产生的卫星、 模式、 雷达等 非结构化气象数据 对气象预报预测、 应对气候变化、 公共气象服务以及农业、 能源、 交通等各行业应用均起到 了巨大的支撑保障作用。 [0003]气象数据在增长的同时其存储系统还需满足应用对存储时效和数据的分级存储 需求， 就目前存储技术而言， 单独一台存储设备已无法满足此容量的需求， 多样异构存储系 统的复杂性使气象数据底层 存储集约化管理面临巨大的挑战； 尤其是面对需要长历史序列 气象数据的科学分析研究， 如气候变化预测和气象数据挖掘分析等应用场景需求的扩大， 数据访问服务已经不能够为用户无感知地提供各类数据的历史序列， 且并不能够根据应用 场景的不同支持多种数据访问方式， 如FTP， S3,CIFS,NFS等。 对于非结构化气象数据的使用 者而言， 以直接访问目录方式进行数据访问获取是较为便捷和理想状态， 所以如何建立一 种气象数据文件目录服务方式， 将非结构化气象数据以更加高效、 便捷并且规范化的文件 目录方式提供 给气象业 务系统以及科研人员使用具有重大的研究意 义。 发明内容 [0004]本发明的目的在于克服现有技术的不足， 提供一种基于虚拟 数据湖的气象数据文 件目录服 务生成方法及系统。 [0005]本发明的第一个目的是提供一种基于虚拟数据湖的气 象数据文件目录服务生成 方法， 包括以下步骤： [0006]S1、 对虚拟数据湖的节点 位置进行布设； [0007]S2、 管理员通过虚拟数据湖服务端上的后台管理服务系统对异构文件系统相关信 息进行配置； [0008]S3、 管理员通过虚拟数据湖服务端上的后台管理服务系统界面创建对外虚拟服务 目录， 将多套异构文件系统中的数据聚合形成统一的服务虚拟目录视图， 实现数据虚拟入 湖； [0009]S4、 根据用户使用需求， 在虚拟数据湖服务端上的后台管理服务系统创建用户及 用户所属分组， 并对所属分组进行授权， 授权 完成后， 用户获得 该分组对目录的读写权限； [0010]S5、 用户挂载虚拟数据湖文件 目录访问客户端， 根据管理员为该用户配置 的读写 权限， 用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进 行读说　明　书 1/4 页 3 CN 115484276 A 3