(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211163171.7 (22)申请日 2022.09.23 (71)申请人 深圳职业 技术学院 地址 518000 广东省深圳市南 山区西丽 街 道西丽湖镇西丽湖畔 (72)发明人 高山　吴墨迪　杨欧　张海刚　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 钟文瀚 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于双视角 安检图像的违禁品检测方 法及装置 (57)摘要 本申请属于安检技术领域， 公开了一种基于 双视角安检图像的违禁品检测方法及装置， 该方 法包括： 获取行李的第一视角安检图像和第二视 角安检图像； 通过预先训练的违禁品检测模型对 第一视角安检图像和第二视角安检图像进行处 理， 得到行李的违禁品检测结果； 其中， 违禁品检 测模型用于根据第一视角安检图像和第二视角 安检图像检测行李中是否存在违禁品， 并在行李 中存在违禁品时， 对行李中的违禁品进行分类和 定位； 输出行李的违禁品检测结果。 本申请可通 过双视角特征融合来解决安检图像成像角度不 佳、 互相遮挡等影响目标检测精度的问题， 达到 提高检测精度的效果。 权利要求书3页 说明书11页 附图4页 CN 115512155 A 2022.12.23 CN 115512155 A 1.一种基于双视角安检图像的违 禁品检测方法， 其特 征在于， 所述方法包括： 获取行李的第一视角安检图像和第二视角安检图像； 通过预先训练的违禁品检测模型对所述第一视角安检图像和所述第二视角安检图像 进行处理， 得到所述行李的违禁品检测结果； 其中， 所述违禁品检测模型用于根据所述第一 视角安检图像和所述第二视角安检图像检测所述行李中是否存在违禁品， 并在所述行李中 存在违禁品时， 对所述行李中的违 禁品进行分类和定位； 输出所述行李的违 禁品检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述违禁品检测模型以一阶段目标检测算 法YOLOv4为基础目标检测框架， 所述基础目标检测框架包括特征提取主干网络、 SPP空间金 字塔池化层、 PANet网络及检测层； 所述特征提取主干网络包括第一初级特征提取网络、 第 二初级特 征提取网络、 特 征映射模块及次级特 征提取网络； 所述通过预先训练的违禁品检测模型对所述第一视角安检图像和所述第二视角安检 图像进行处 理， 得到所述行李的违 禁品检测结果， 包括： 通过所述第 一初级特征提取网络提取所述第 一视角安检图像的第 一视角特征， 并通过 所述第二初级特 征提取网络提取 所述第二视角安检图像的第二视角特 征； 通过所述特征映射模块将所述第 一视角特征与 所述第二视角特征融合， 将得到的融合 特征输入所述次级特 征提取网络； 通过所述 次级特征提取网络对所述融合特征进行提取， 得到按从大到小的尺度排列的 第一特征层、 第二特 征层及第三特 征层； 通过所述SPP空间金字塔池化层对所述第三特征层进行处理， 并将所述第一特征层、 所 述第二特征层及经过所述SPP空间金字塔池化层 处理后的第三特征层输入所述PANet网络 进行处理， 得到检测特 征； 将所述检测特 征输入所述检测层， 得到所述行李的违 禁品检测结果。 3.根据权利要求2所述的方法， 其特征在于， 所述第 一初级特征提取网络和所述第 二初 级特征提取网络均包括两个残差模块， 且所述第一初级特征提取网络包含的两个残差模块 的参数与所述第二初级特 征提取网络包 含的两个残差模块的参数不互通。 4.根据权利要求3所述的方法， 其特征在于， 所述特征提取主干网络包括两个特征映射 模块； 所述通过所述第一初级特征提取网络提取所述第 一视角安检图像的第 一视角特征， 并 通过所述第二初级特 征提取网络提取 所述第二视角安检图像的第二视角特 征， 包括： 通过所述第一初级特征提取网络的第一个残差模块初步提取所述第一视角安检图像 的第一视角特征， 并将所述第一视角特征输入所述特征提取主干网络中的第一个特征映射 模块； 通过所述第二初级特征提取网络的第一个残差模块初步提取所述第二视角安检图像 的第二视角特征， 并将所述第二视角特征分别输入所述特征提取主干网络中的第一个特征 映射模块和所述第二初级特 征提取网络的第二个残差模块； 通过所述第二初级特征提取网络的第二个残差模块对所述第二视角特征进行再次特 征提取， 并将再次特征提取到的第二视角提取特征输入所述特征提取主干网络中的第二个 特征映射模块；权　利　要　求　书 1/3 页 2 CN 115512155 A 2所述通过所述特征映射模块将所述第一视角特 征与所述第二视角特 征融合， 包括： 通过所述特征提取主干网络中的第一个特征映射模块对输入的所述第一视角特征和 所述第二视角特征进 行融合， 将得到的初级融合特征输入所述第一初级 特征提取网络的第 二个残差模块再次进 行特征提取， 并将再次特征提取到的次级融合特征输入所述特征提取 主干网络中的第二个特 征映射模块； 通过所述特征提取主干网络中的第二个特征映射模块对所述次级融合特征和所述第 二视角提取 特征进行融合， 得到所述融合特 征。 5.根据权利要求4所述的方法， 其特征在于， 每个所述特征映射模块包括上下采样模块 和卷积注意力机制模块； 所述通过所述特征提取主干网络中的第一个特征映射模块对输入的所述第一视角特 征和所述第二视角特 征进行融合， 包括： 通过所述第一个特征映射模块的上下采样模块对所述第一视角特征和所述第二视角 特征进行上采样和下采样， 并将经过上采样和下采样得到的特征输入所述第一个特征映射 模块的卷积注意力机制模块， 得到所述卷积注意力机制模块输出的初级融合特 征； 所述通过所述特征提取主干网络中的第二个特征映射模块对所述次级融合特征和所 述第二视角提取 特征进行融合， 得到所述融合特 征， 包括： 通过所述第二个特征映射模块的上下采样模块对所述次级融合特征和所述第二视角 提取特征进行上采样和下采样， 并将经过上采样和下采样得到的特征输入 所述第二个特征 映射模块的卷积注意力机制模块， 得到所述卷积注意力机制模块输出的融合特 征。 6.根据权利要求4所述的方法， 其特征在于， 所述 次级特征提取网络包括依次连接的三 个残差模块； 所述将得到的融合特征输入所述次级 特征提取网络， 包括： 将得到的融合特征 输入所述次级特 征提取网络的第一个残差模块； 所述通过所述 次级特征提取网络对所述融合特征进行提取， 得到按从大到小的尺度排 列的第一特 征层、 第二特 征层及第三特 征层， 包括： 通过所述 次级特征提取网络的第 一个残差模块对所述融合特征进行提取， 得到第 一特 征层； 将所述第一特征层输入所述 次级特征提取网络的第 二个残差模块进行特征提取， 得到 第二特征层； 将所述第二特征层输入所述 次级特征提取网络的第 三个残差模块进行特征提取， 得到 第三特征层。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 所述第一视角安检图像为双视 角X光安检机在垂 直视角上对所述行李采集到的X光图像， 所述第二视角安检图像为双视角 X光安检机在水平视角上对所述行李采集到的X光图像。 8.一种基于双视角安检图像的违 禁品检测装置， 其特 征在于， 所述装置包括： 安检图像获取模块， 用于获取 行李的第一视角安检图像和第二视角安检图像； 违禁品检测模块， 用于通过预先训练 的违禁品检测模型对所述第 一视角安检图像和所 述第二视角安检图像进 行处理， 得到所述行李的违禁品检测结果； 其中， 所述违禁品检测模 型用于根据所述第一视角安检图像和所述第二视角安检图像检测所述行李中是否存在违 禁品， 并在所述行李中存在违 禁品时， 对所述行李中的违 禁品进行分类和定位；权　利　要　求　书 2/3 页 3 CN 115512155 A 3