(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211011639.0 (22)申请日 2022.08.23 (71)申请人 北京元支点信息安全技 术有限公司 地址 100000 北京市东城区安 乐林路69号3 号楼203-A (72)发明人 杨志卫　 (74)专利代理 机构 北京贵都专利代理事务所 (普通合伙) 11649 专利代理师 田志华 (51)Int.Cl. H04L 9/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 40/30(2020.01) (54)发明名称 基于无监督预训练模型诱饵的制作和装置 (57)摘要 本发明涉及网络安全技术应用技术领域， 具 体公开了一种基于无监督预训练模型诱饵的制 作， 包括如下步骤： S1、 准备相关语 料库； S2、 数据 预处理； S3、 加载预训练生成模型GP T； S4、 下游特 定任务训练； S5、 根据关键词和真实环境描述生 成内容； S6、 诱饵文件制作； S7、 生成诱饵文件程 序绑定word、 pdf、 web； S8、 生成诱饵智能下发到 终端。 本发明依靠强大的无监督预训练模型GPT ‑ 2生成出的诱饵内容， 并结合进 一步改造， 文档中 植入一个隐蔽的追踪溯源程序； 无监督预训练+ 监督下游任务微调， 而在NLP 任务中， 上游的无监 督预训练任务多半采用语言模型来实现， 下游的 监督任务直接对上游的模型进行简单改造 。 权利要求书2页 说明书4页 附图1页 CN 115396175 A 2022.11.25 CN 115396175 A 1.基于无监 督预训练模型诱饵的制作， 其特 征在于， 包括如下步骤： S1、 准备相关语料库； S2、 数据预处 理； S3、 加载预训练生成模型GPT； S4、 下游特定任务训练； S5、 根据关键词和真实环境描述 生成内容； S6、 诱饵文件制作； S7、 生成诱饵文件程序绑定w ord、 pdf、 web； S8、 生成诱饵智能下发到终端。 2.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作， 其特征在于， 所述S1 以及S2中， 接入真实网络环境的文件作为训练样 本， 采集数据信息， 并对数据进 行编码与分 段。 3.根据权利要求2所述的一种基于无监督预训练模型诱饵的制作， 其特征在于， 所述数 据信息包括企业 域名、 通讯录、 互联网资产和信息泄 露。 4.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作， 其特征在于， 在S4的 所述训练模型中， 输入与生成内容相关的标题或提 示自动生成诱饵内容。 5.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作， 其特征在于， S8中还 包括如下步骤： a、 进程检测， 规则转换， 重 定向； b、 记录诱饵增删改踪迹； c、 生成的诱饵内容 不限于word、 pdf文件或 嵌入web服 务， html， 或其他程序和网络环境中。 6.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作， 其特征在于， 在S3 中， 对于语料u＝(u1,.....un),GPT构建标准的语言模型： 同时使用Transfor mer Decoder模块加上前馈神经网络， 最后 使用soft max输出目标词 的分布； h0＝UWe+Wp 7.根据权利要求6所述的一种基于无监督预训练模型诱饵的制作， 其特征在于， 对于通 过第一阶段的预训练得到的语言模型， 对于特定的任务进行fi ne‑tuning； 对于一个监督数据集C， 其中的数据为一个序列χ1， ......， χm， 和一个标签y； 将序列输 入预训练模型后得到 输出向量hlm， 接着使用一个线性层来预测标签； 权　利　要　求　书 1/2 页 2 CN 115396175 A 2需极大化的似然函数为： 8.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作， 其特征在于， 所述本 发明中使用GPT ‑2模型， 是GPT的升级版， 其中GPT ‑2构建了一个数据集WebText， 共有八百万 文档， 40GB。 9.根据权利要求9所述的一种基于无监督预训练模型诱饵的制作， 其特征在于， 所述 GPT‑2模型使用了庞大的网络构架， 最大48层Transformer， 1542M参数， 16 00维。 10.一种应用权利要求1 ‑9其中任一 一项的无监 督预训练模型诱饵装置 。权　利　要　求　书 2/2 页 3 CN 115396175 A 3