(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211137170.5 (22)申请日 2022.09.19 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 胡琳梅　陈子薇　赵鑫妍　 (74)专利代理 机构 西安迪业欣知识产权代理事 务所(普通 合伙) 61278 专利代理师 校丽丽 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种多模态虚假新闻检测方法及系统 (57)摘要 本发明公开了一种多模态虚假新闻检测方 法及系统， 属于信息检测技术领域， 能够解决现 有多模态虚假新闻检测方法检测效果较差的问 题。 所述方法包括： S1、 对待检测新闻进行图文匹 配检测， 得到待检测新闻的 图文匹配概率； S2、 对 待检测新闻进行分类预测， 得到待检测新闻的初 始分类概率； S3、 利用图文匹配概率调整初始分 类概率， 得到待检测新闻的最终分类概率。 本发 明用于虚假 新闻检测。 权利要求书2页 说明书11页 附图2页 CN 115496140 A 2022.12.20 CN 115496140 A 1.一种多模态 虚假新闻检测方法， 其特 征在于， 所述方法包括： S1、 对待检测新闻进行图文匹配 检测， 得到待检测新闻的图文匹配概 率； S2、 对待检测新闻进行分类预测， 得到待检测新闻的初始分类概 率； S3、 利用所述图文匹配概 率调整所述初始分类概 率， 得到待检测新闻的最终分类概 率。 2.根据权利要求1所述的方法， 其特 征在于， 所述S1具体包括： S11、 将所述待检测新闻的文本内容和视 觉内容输入图文匹配模型中， 得到匹配向量； S12、 将所述匹配向量和与其对应的权重矩阵输入第 一激活函数中， 得到待检测新闻的 图文匹配概 率。 3.根据权利要求1所述的方法， 其特 征在于， 所述S2具体包括： S21、 对所述待检测新闻的文本内容和视觉内容分别进行特征提取和特征融合， 得到基 于文本的融合特 征和基于 视觉的融合特 征； S22、 根据 所述基于文本的融合特征和所述基于视觉的融合特征， 得到待检测新闻的初 始分类概 率。 4.根据权利要求3所述的方法， 其特 征在于， 所述S21具体包括： S211、 将所述待检测新闻的文本内容输入文本编码器中， 得到文本特征， 并将所述待检 测新闻的视 觉内容输入视 觉编码器中， 得到 视觉特征； S212、 将所述文本特征和所述视觉特征分别输入基于文本的协同注意力模块和基于视 觉的协同注意力模块中， 得到基于文本的融合特 征和基于 视觉的融合特 征。 5.根据权利要求3所述的方法， 其特 征在于， 所述S2 2具体包括： S221、 对所述基于文本的融合特征和所述基于视觉的融合特征进行拼接处理， 得到拼 接概率； S222、 将所述拼接概率和与其对应的权重矩阵输入第二激活函数中， 得到待检测新闻 的初始分类概 率。 6.根据权利要求1所述的方法， 其特 征在于， 所述S3具体为： 根据第一公式计算待检测新闻的最终分类概 率； 所述第一公式为： Pf＝Norm(Pc⊙Pm)； 其中， Pf为最终分类概率； Pc为初始分类概率； Pm为图文匹配概率； ⊙为哈达玛积； Norm 表示确保概 率之和为1的标准 化函数。 7.根据权利要求2所述的方法， 其特征在于， 所述图文匹配模型为多模态的视觉语言预 训练模型。 8.根据权利要求4所述的方法， 其特征在于， 所述文本编码器为BERT模型； 所述视觉编 码器为ViT模型。 9.一种多模态 虚假新闻检测系统， 其特 征在于， 所述系统包括： 图文匹配模型， 用于对待检测新闻进行图文匹配检测， 得到待检测新闻的图文匹配概 率； 基础虚假新闻检测模型， 用于对待检测新闻进行分类预测， 得到待检测新闻的初始分 类概率； 多任务学习模型， 用于利用所述图文匹配概率调整所述初始分类概率， 得到所述待检 测新闻的最终分类概 率。权　利　要　求　书 1/2 页 2 CN 115496140 A 210.根据权利要求9所述的系统， 其特征在于， 所述图文匹配模型和所述基础虚假新闻 检测模型的训练损失函数为交叉熵损失函数。权　利　要　求　书 2/2 页 3 CN 115496140 A 3