(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210305284.X (22)申请日 2022.03.25 (71)申请人 腾讯科技 （上海） 有限公司 地址 201200 上海市徐汇区虹梅路1801号C 区5层 (72)发明人 王昌安　王亚彪　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 贾允 (51)Int.Cl. G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种图像检测方法、 装置、 电子设备及存储 介质 (57)摘要 本发明公开了一种图像检测方法、 装置、 电 子设备及存储介质， 可应用于云技术、 人工智能、 智慧交通、 辅助驾驶等各种场景， 该方法包括： 根 据待处理图像对应的图像块序列确定第一向量 序列； 基于多个注意力编码层依次对第一向量序 列进行注 意力编码得到第一特征图； 基于分类嵌 入向量对应的目标注意力特征得到第一注意力 分布图； 对第一注意力分布图取反后与第一特征 图融合得到第二特征图； 根据所述第一特征图、 所述第一注意力分布 图和所述第二特征图进行 目标对象检测， 得到所述待处理图像中目标对象 的类别信息和位置信息。 本发明提高了检测结果 中位置信息的准确性。 权利要求书3页 说明书16页 附图5页 CN 114663670 A 2022.06.24 CN 114663670 A 1.一种图像 检测方法， 其特 征在于， 所述方法包括： 根据待处理图像对应的图像块序列， 确定第一向量序列； 所述第一向量序列包括分类 嵌入向量和所述图像块序列中各图像块对应的图像块向量； 基于多个注意力编码层依次对所述第一向量序列进行注意力编码， 得到第一特 征图； 确定每个所述注意力编码层对应的注意力矩阵， 提取每个所述注意力矩阵中对应所述 分类嵌入向量的目标注意力特征， 对各所述 目标注意力特征进行融合处理， 得到第一注意 力分布图； 对所述第一注意力分布图进行取反处理， 得到反向注意力分布图， 将所述反向注意力 分布图与所述第一特 征图进行融合处 理得到第二特 征图； 根据所述第一特征图、 所述第一注意力分布图和所述第二特征图进行目标对象检测， 得到所述待处 理图像中目标对象的类别 信息和位置信息 。 2.根据权利要求1所述的图像检测方法， 其特征在于， 所述根据所述第一特征图、 所述 第一注意力分布图和所述第二特征图进行目标对象检测， 得到所述待处理图像中所述目标 对象的类别 信息和位置信息， 包括： 根据所述第 二特征图和所述第 一特征图， 确定所述待处理图像中目标对象的类别信 息 并生成第二注意力分布图； 对所述第一注意力分布图与第二注意力分布图进行逐像素相乘得到目标注意力分布 图； 根据所述目标注意力分布图确定所述待处 理图像中所述目标对象的位置信息 。 3.根据权利要求2所述的图像检测方法， 其特征在于， 所述根据 所述第二特征图和所述 第一特征图， 确定所述待处 理图像中目标对象的类别 信息并生成第二注意力分布图包括： 根据所述第二特征图进行分类， 得到第一分类结果； 所述第一分类结果包括多个预设 类别中各 预设类别对应的概 率值； 根据所述第一分类结果对多个初始化卷积核 进行加权求和， 得到目标 卷积核； 根据所述目标 卷积核对所述第一特 征图进行 特征提取， 得到第三特 征图； 根据所述第 三特征图， 确定所述待处理图像中目标对象的类别信 息并生成第 二注意力 分布图。 4.根据权利要求3所述的图像检测方法， 其特征在于， 所述根据 所述第二特征图进行分 类， 得到第一分类结果包括： 对所述第二特 征图进行降维处 理， 得到降维特 征图； 对所述降维特征图分别进行全局最大池化和全局 平均池化， 得到第 一池化特征和第 二 池化特征； 融合所述第一池化特 征和所述第二池化特 征， 得到融合池化特 征； 对所述融合池化特 征进行分类， 得到第一分类结果。 5.根据权利要求3所述的图像检测方法， 其特征在于， 所述根据所述第三特征图， 确定 所述待处 理图像中目标对象的类别 信息并生成第二注意力分布图， 包括： 对所述第三特 征图进行全局平均池化， 得到第三池化特 征； 基于所述第三池化特征进行分类， 得到第二分类结果； 所述第二分类结果表征待处理 图像中目标对象的类别 信息；权　利　要　求　书 1/3 页 2 CN 114663670 A 2基于所述第三池化特 征和所述第三特 征图， 生成第二注意力分布图。 6.根据权利要求1所述的图像检测方法， 其特征在于， 所述将所述反 向注意力分布图与 所述第一特 征图进行融合处 理得到第二特 征图， 包括： 将所述反向注意力分布图与所述第一特 征图相乘， 得到第二特 征图。 7.根据权利要求1所述的图像检测方法， 其特征在于， 所述确定每个所述注意力编码层 对应的注意力矩阵， 提取每个所述注意力矩阵中对应所述分类嵌入向量的目标注意力特 征， 对各所述目标注意力特 征进行融合处 理， 得到第一注意力分布图， 包括： 针对每个所述注意力编码层， 确定各自注意力机制模块的注意力矩阵的平均， 得到所 述注意力编码层对应的注意力矩阵； 提取所述注意力编码层对应的注意力矩阵中， 对应所述分类嵌入向量的目标注意力特 征； 对各所述注意力编码层对应的目标注意力特 征取平均， 得到第一注意力分布图。 8.根据权利要求1所述的图像检测方法， 其特征在于， 所述根据待处理图像对应的图像 块序列， 确定第一向量序列包括： 获取待处 理图像， 将所述待处 理图像切分为多个图像块， 得到图像块序列； 对所述图像块序列中的图像块进行向量嵌入， 得到图像块嵌入向量序列； 向所述图像块嵌入向量序列中添加初始化的分类嵌入向量， 得到嵌入向量序列； 对所述嵌入向量序列中的各嵌入向量添加位置编码， 得到所述第一向量序列； 所述位 置编码表征相应嵌入向量在所述嵌入向量序列中的位置信息 。 9.根据权利要求1～8中任一项所述的图像检测方法， 其特征在于， 所述图像检测方法 基于图像 检测模型实现， 所述图像 检测模型的训练包括： 获取样本图像以及所述样本图像对应的类别标签； 所述类别标签指示所述样本图像中 目标对象的参 考类别信息； 将所述样本图像对应的样本图像块序列输入至预设神经网络模型的注意力编码单元， 基于所述注意力编码单 元中的多个注意力编码层进行注意力编码得到第一样本特 征图； 基于所述预设神经网络模型的局部特征挖掘单元确定每个所述注意力编码层的注意 力矩阵， 提取每个所述注意力矩阵中对应分类嵌入向量的目标注意力特征， 对各目标注意 力特征进 行融合处理得到第一样本注意力分布图， 对所述第一样本注意力分布图进行取反 处理得到样本反向注 意力分布图， 将所述样本反向注意力分布图与所述第一样本特征图进 行融合处理得到第二样本特征图； 基于所述第二样本特征图和所述第一样本特征图进 行类 别预测， 得到预测类别 信息； 根据所述样本图像对应的预测类别信 息与所述类别标签之间的差异确定损失值， 基于 所述损失值反向调整所述预设神经网络模型的模型参数并进行迭代训练直至满足训练结 束条件， 得到所述图像 检测模型。 10.一种图像 检测装置， 其特 征在于， 所述装置包括： 第一确定模块， 用于根据待处理图像对应的图像块序列， 确定第一向量序列； 所述第一 向量序列包括分类嵌入向量和所述图像块序列中各图像块对应的图像块向量； 注意力编码模块， 用于基于多个注意力编码层依次对所述第 一向量序列进行注意力编 码， 得到第一特 征图；权　利　要　求　书 2/3 页 3 CN 114663670 A 3