(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211060299.0 (22)申请日 2022.09.01 (71)申请人 成都优选仓科技有限公司 地址 610000 四川省成 都市高新区天华 二 路219号C区6 栋3层1-6号 (72)发明人 王国俊　王飞　 (51)Int.Cl. G06F 16/2453(2019.01) G06F 16/23(2019.01) G06F 16/21(2019.01) G06F 16/22(2019.01) G06F 16/2458(2019.01) G06Q 30/02(2012.01) (54)发明名称 基于大数据实时计算的广告中 台系统方法 (57)摘要 本发明公开了一种基于大数据实时计算的 广告中台系统方法， 它涉及一种广告中台系统方 法。 包括： 一、 JAVA数据接入； 二、 KAFKA数据入库： 将数据接入， 写入KAFKA， 由KAFKA将数据存入数 据库 （CLICKHOUSE）； 三、 python数据清洗； 四、 CLICKHOUSE实时数据计算。 本发明具有高吞吐数 据处理能力， 大批量数据实时计算能力， 打通投 放平台数据统一计算， 统一分析； 为广告投放侧 提供实时分析， 便于投放策略及时更新， 最终提 升公司效益。 权利要求书1页 说明书4页 附图1页 CN 115391384 A 2022.11.25 CN 115391384 A 1.基于大 数据实时计算的广告中 台系统方法， 其特 征在于， 包括以下步骤； （一） 、 JA VA数据接入； （二） 、 KAF KA数据入库： 将数据接入， 写入KAF KA， 由KAF KA将数据存 入数据库； （三） 、 pytho n 数据清洗； （四） 、 CL ICKHOUSE实时数据计算。 2.根据权利要求1所述的基于大数据实时计算的广告中台系统方法， 其特征在于， 所述 的步骤一具体包括： （1） 、 通过JAVA针对各大投放平台的数据， 组装成统一的数据进行数据接入， 避免人工 登录账号下 载数据； （2） 、 通过5分钟一次的拉取， 解决实时数据查看。 3.根据权利要求1所述的基于大数据实时计算的广告中台系统方法， 其特征在于， 所述 的步骤三具体包括： （1） 、 针对各 大平台的投放数据规范， 进行有效的清理数据， 达 到可使用的数据标准； （2） 、 针对本地数据进行 数据清洗 。 4.根据权利要求1所述的基于大数据实时计算的广告中台系统方法， 其特征在于， 所述 的步骤四具体包括： （1） 、 通过CLICKHOUSE的实时引擎针对入库的数据进行预计算， 减少最后数据输出的统 计量； （A） ： 去重的引擎： 主要针对投放数据重复拉取， 每天将近处理1~2亿的数据， 进行实时 的数据去重； （B） ： 汇总的引擎： 主要针对 （投放数据和线下数据） 做预聚合， 实时对写入数据进行聚 合； （2） 、 通过CLICKHOUSE的实时引擎可以达到秒级出数据， 可以给运营及时的提供投放数 据和业务数据进行对比， 更好的管控投放数据， 减少不必要的损失； （3） 、 通过CLICKHOUSE的雾化视图对数据进行数据分层， 更好的对数据进行管理， ODS层 存储原始数据， DWD层 对数据进行清洗， DWM雾化视图减少数据量级， 做 一些预聚合处理， DWS 层对数据进行宽表处 理， 减少数据表与表之间的关联。权　利　要　求　书 1/1 页 2 CN 115391384 A 2基于大数据实时计算的广告中台系统方 法 [0001] 技术领域 [0002]本发明涉及的是一种广告中台系统方法， 具体涉及一种基于大数据实时计算的广 告中台系统方法。 背景技术 [0003]随着互联 网的发展， 针对传统行业和互联网行业都会存通过广告投放平台来为公 司产品引流。 目前投放平台， 投放渠道众多， 针对于不同软件产品， 通过不同的投放平台， 不 同的投放策略产生的收益差异也不一样。 很多产品都需要在不同的投放平台进行投放， 然 而不同的投放平台， 都有 各自的广告相关的指标分析系统。 为了实现数据打通统一分析， 作 为广告投放侧需要将： 1,将投放数据T+1方式人为拉取下来， 通过Excel进行投放指标统计 分析整理成报表； 2， 一般投放平台有很多个账号， 都 需要人为去一个个账号操作， 很容易出 错； 3， 投放数据属于互联网公司相对敏感的数据， 通过人为去操作保障不了数据的安全性； 4， T+1方式延迟比较严重， 对于投放收益， 需要及时知晓投放收益情况便于及时调整投放策 略。 [0004]在中小型互联网公司， 大多数产品都是互联网产品， 产品孵化初期都需要借助于 主流广告投放平台 （如： 巨量引擎， 磁力引擎， 腾讯广电通等） ， 来为产品通过广告引流， 增加 用户流量。 [0005]不同的互联 网产品， 运营侧选择的投放渠道， 制定的投放策略也不相同， 有针对性 选择目标群 体。 [0006]通常一个产品会同时在多个投放平台， 同时进行投放， 每一个广告投放平台都会 有各自的投放分析系统。 便于运营进 行投放收益分析， 及时调整投放策略， 保障投放广告收 益能力。 [0007]但由于各个投放平台， 各自独立， 投放侧会同时在多个投放平台。 急需一个将各投 放平台汇集在一起输出的广告中台， 从整体把控投放收益， 实时分析， 保障将有限资源投放 到收益最大的创意中， 对于收入来源于互联网流 量公司来说至关重要。 [0008]由于各个投放平台实时投放明细数据， 随时在修复的特性， 导致如中午12点拉取 投放数据， 早上1点的数据都还在不停的修复。 导致数据一天中是不断累积， 随着小时成倍 增加， 数据量级也是成30度直线一直增 长。 导致实时分析压力增加， 数据并发， 量级也在增 加。 在高峰时能到 达每分钟5 0w条的数据读写， 给实时分析， 计算带来 不小压力。 [0009]技术手段： 1： 整体解决方案中需要引入能满足数据高吞吐的消息组建Kafka集群， 保障在数 据洪峰时整体写入平稳。 [0010]2： 实时分析在Flink  分布式计算框架的赋能下， 对于数据进行实时计算， 批量写 入减少数据库频繁写入， Fl ink写入ClickHosue的性能达 到最佳。说　明　书 1/4 页 3 CN 115391384 A 3