(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211022274.1 (22)申请日 2022.08.25 (71)申请人 浪潮云信息技 术股份公司 地址 250100 山东省济南市高新区浪潮路 1036号浪潮科技园S01号楼 (72)发明人 孙海阳　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 姜鹏 (51)Int.Cl. H04L 41/069(2022.01) H04L 9/40(2022.01) H04L 41/14(2022.01) (54)发明名称 集日志收集、 解析、 存储与服务为一体的日 志处理系统 (57)摘要 本发明涉及大数据技术领域， 具体为集日志 收集、 解析、 存储与服务为一体的日志处理系统， 包括日志收集模块、 日志解析模块、 日志服务模 块以及日志存储模块； 有益效果为： 本发明提出 的集日志收集、 解析、 存储与服务为一体的日志 处理系统实现日志采集自动化部署， 并支持可视 化控制采集的启停； 实现日志格式标准化， 具有 统一的日志模型； 实现日志解析热加载， 支持可 视化更新解析配置； 达到TB级日志数据存储， 且 至少支持秒级页面加载； 支持大数据量场景下的 高速检索和聚合及异常日志告警； 可自定义日志 保留策略， 以及过期日志的转储策略。 权利要求书2页 说明书4页 附图4页 CN 115460072 A 2022.12.09 CN 115460072 A 1.集日志收集、 解析、 存储与服务为一体的日志处理系统， 其特征在于： 所述集日志收 集、 解析、 存 储与服务为一体的日志处 理系统包括： 日志收集模块、 日志解析模块、 日志服 务模块以及日志存 储模块； 日志收集模块， 用于采集日志文件中的日志数据， 再通过kafka传递给后续模块功能； 日志解析模块， 利用logstash的插件对日志原始数据进行解析， 生成符合标准格式的 数据； 日志服务模块， 用于为日志引擎系统其 他服务提供日志查询、 聚合、 审计、 配置 接口； 日志存储模块， 用于将日志分析模块处理后的结构化数据和日志服务模块传递的日志 数据进行存 储， 同时实现过期日志的转储。 2.根据权利要求1所述的集日志收集、 解析、 存储与服务为一体的日志处理系统， 其特 征在于： 所述日志收集模块中， 在增加新的采集配置时， 在对应的采集节点上部署日志采集 器， 生成配置文件并控制日志采集器进行日志采集， 进 而实现自动化部署采集日志数据； 实时监控 采集配置的启用状态， 启用状态发生改变时， 控制对应采集的启动和停止 。 3.根据权利要求2所述的集日志收集、 解析、 存储与服务为一体的日志处理系统， 其特 征在于： 所述日志解析模块分为日志分析和日志解析两部分， 日志解析即接 收采集到的日 志数据， 将日志收集数据解析为具有标准格式的日志数据； 日志分析即根据配置规则分析 日志解析模块解析后的结构化数据， 并依据规则决定过 程中出现异常日志是否需要发告警。 4.根据权利要求3所述的集日志收集、 解析、 存储与服务为一体的日志处理系统， 其特 征在于： 日志解析过程中要自动更新解析配置， 及时监听日志服务模块日志解析配置变更 信息并更新 解析器的配置文件， 从而反馈符合标准的日志数据。 5.根据权利要求4所述的集日志收集、 解析、 存储与服务为一体的日志处理系统， 其特 征在于： 所述日志服务模块中为日志采集、 日志解析以及其他需要配置的功 能模块提供配 置界面， 将所有配置可视化， 方便操作， 同时会根据配置状态对 采集、 解析流 程进行控制。 6.一种如上述权利要求1 ‑5任意一项所述的集日志收集、 解析、 存储与服务为一体的日 志处理方法， 其特 征在于： 该 方法包括以下步骤： 采集日志文件中的日志数据， 再通过kafka传递给后续模块功能； 利用logstash的插 件对日志原始数据进行解析， 生成符合标准格式的数据； 为日志引擎系统其 他服务提供日志查询、 聚合、 审计、 配置 接口； 将日志分析模块处理后的结构化数据和日志服务模块传递的日志数据进行存储， 同时 实现过期日志的转储。 7.根据权利要求6所述的集日志收集、 解析、 存储与服务为一体的日志处理方法， 其特 征在于： 在增加新的采集配置时， 在对应的采集节点上部署日志采集器， 生 成配置文件并控 制日志采集器进行日志采集， 进 而实现自动化部署采集日志数据。 8.根据权利要求7所述的集日志收集、 解析、 存储与服务为一体的日志处理方法， 其特 征在于： 利用logst ash的插件对日志原始数据进行解析分为日志分析和日志解析两部分， 日志解析即接收采集到的日志数据， 将日志收集数据解析为具有标准格式的日志数据； 日志分析即根据配置规则分析 日志解析模块解析后的结构化数据， 并依据规则决定过 程中出现异常日志是否需要发告警。权　利　要　求　书 1/2 页 2 CN 115460072 A 29.根据权利要求8所述的集日志收集、 解析、 存储与服务为一体的日志处理方法， 其特 征在于： 日志解析过程中要自动更新解析配置， 及时监听日志服务模块日志解析配置变更 信息并更新 解析器的配置文件， 从而反馈符合标准的日志数据。 10.根据权利要求9所述的集日志收集、 解析、 存储与服务为一体的日志 处理方法， 其特 征在于： 为日志采集、 日志 解析以及其他需要配置的功能模块提供配置界面， 将所有配置可 视化， 方便操作， 同时会根据配置状态对 采集、 解析流 程进行控制。权　利　要　求　书 2/2 页 3 CN 115460072 A 3