(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210359478.8 (22)申请日 2022.04.07 (71)申请人 长沙理工大 学 地址 410114 湖南省长 沙市天心区万家丽 南路二段96 0号 (72)发明人 章登勇　陈书书　李峰　彭建　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 王浩 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于CNN的接缝裁剪图像检测方法及系 统 (57)摘要 本发明公开了一种基于CNN的接缝裁剪图像 检测方法及系统， 本方法通过将待检测图像输入 至预设的卷积神经网络模块中， 得到待检测图像 的局部特征图； 将待检测图像输入 预设的快速傅 里叶卷积块模块中， 得到待检测图像的全局特征 图； 将局部特征图与全局特征图相连， 得到连接 后的特征图像； 利用softmax分类器对连接后的 特征图进行像素检测， 得到待检测图像是否发生 裁剪的检测结果。 本系统提出基于注 意力机制的 局部特征提取模块与基于快速傅里叶卷积的全 局特征提取模块， 相较于现有方案， 本方法能通 过提取待检测图像的全局特征和局部特征， 使最 后融合得到的检测特征更全面， 分类与定位更准 确。 权利要求书3页 说明书12页 附图4页 CN 114677359 A 2022.06.28 CN 114677359 A 1.一种基于 CNN的接缝裁 剪图像检测方法， 其特 征在于， 包括如下步骤： 将待检测图像输入至预设的卷积神经网络模块中， 得到所述待检测图像的局部特征 图； 其中， 所述卷积神经网络模块包括相互结合的空间注意力机制和通道 注意力机制； 将所述待检测图像输入预设的快速傅里叶卷积块模块中， 得到所述待检测图像的全局 特征图； 将所述局部特 征图与所述全局特 征图相连， 得到连接后的特 征图； 利用softmax分类器对所述连接后的特征图进行像素检测， 得到所述待检测图像是否 发生裁剪的检测结果。 2.根据权利要求1所述的一种基于CNN的接缝裁剪图像检测方法， 其特征在于， 所述卷 积神经网络模块以ResNet50网络作为提取局部特征的骨干网络； 所述ResNet50中的每一个 特征提取阶段后均设置有A_MEMM模块， 所述A_MEMM模块包括通道注意力模块、 空间注意力 模块以及最大熵马尔科夫模块， 所述通道注意力模块用于提取第一特征图的特征， 得到通 道注意力特征图， 所述第一特征图是指所述特征提取阶段输出的特征图； 所述空间注意力 模块用于提取第二特征图的特征， 得到空间注意力特征图， 所述第二特征图是指所述通道 注意力特征图与所述第一特征图进行逐元素乘法操作后得到的特征图； 所述最大熵马尔科 夫模块用于增加综合特征图中的相邻区域之间的相关性， 所述综合特征图是指所述空间注 意力特征图与所述第二特 征图进行 逐元素乘法操作后得到的特 征图。 3.根据权利要求2所述的一种基于CNN的接缝裁剪图像检测方法， 其特征在于， 所述 ResNet50网络包括5个特征提取阶段， 其中， 第1个特征提取阶段， 第2个特征提取阶段和第3 个特征提取阶段为普通卷积， 第4个特征提取阶段和第5个特征提取阶段由包含不同数量的 两种残差块组成， 且所述第4个特征提取阶段和所述第5个特征提取阶段加入了膨胀卷积， 所述普通卷积为包括卷积层、 激活层和池化层的卷积。 4.根据权利要求3所述的一种基于CNN的接缝裁剪图像检测方法， 其特征在于， 所述将 待检测图像输入至预设的卷积神经网络模块中， 得到所述待检测图像的局部特 征图， 包括： 将所述待检测图像进行第1个特征提取阶段， 得到缩小为所述待检测图像的1/2的特征 图F1； 将所述特征图F1进行第2个特征提取阶段， 得到缩小为所述待检测图像的1/4的特征图 F2； 将所述特征图F2进行第3个特征提取阶段， 得到缩小为所述待检测图像的1/8的特征图 F3； 将所述特征图F3进行第4个特征提取阶段， 得到缩小为所述待检测图像的1/16的特征 图F4； 将所述特征图F4进行第5个特征提取阶段， 得到缩小为所述待检测图像的1/32的特征 图F5； 将所述特征 图F3， 所述特征 图F4与所述特征 图F5进行全卷积层操作FC6和FC7， 得到热 点图H31， 热点图H41和热点图H 51； 将所述热点图H31， 所述热点图H41和所述热点图H51利用卷积函数进行卷积， 得到热点 图H3， 热点图H4和热点图H5， 其中， 所述卷积函数的步长为1， 核大小为1 ×1以及卷积核数量 为2；权　利　要　求　书 1/3 页 2 CN 114677359 A 2将所述热点图H5利用核大小为4 ×4， 步长为2的转置卷积进行卷积， 得到卷积结果1， 将 所述卷积结果1与所述热点图H4进行 逐元素相加， 得到相加结果1； 将所述相加结果1利用核大小为4 ×4， 步长为2的转置卷积进行卷积， 得到卷积结果2， 将所述卷积结果2与所述热点图H 3进行逐元素相加， 得到相加结果2； 将所述相加结果2利用核大小为16 ×16， 步长为8的转置卷积进行卷积， 得到所述待检 测图像的局部特 征图。 5.根据权利要求1所述的一种基于CNN的接缝裁剪图像检测方法， 其特征在于， 所述快 速傅里叶卷积块模块包括级联的多个快速傅里叶卷积块， 多个所述快速傅里叶卷积块之间 的结构相同； 将所述待检测图像输入预设的快速傅里叶卷积块模块中， 得到所述待检测图 像的全局特 征图， 包括： 将所述待检测图像输入至所述快速傅里叶卷积块模块中的第1个所述快速傅里叶卷积 块中， 得到第1个所述快速傅里叶卷积块输出的特 征图； 将第1个所述快速傅里叶卷积块输出的特征图输入至下一个所述快速傅里叶卷积块 中， 依次类推， 直至最后一个所述快速傅里叶卷积块输出所述待检测图像的全局特征图； 其 中， 多个所述快速傅里叶卷积块中的任意 一个所述快速傅里叶卷积块执 行如下操作： 使用普通卷积提取目标对象的局部特征L1和局部特征L2； 所述目标对象是指上一个所 述快速傅里叶卷积块输出 的特征图或所述待检测图像， 所述普通卷积为包括卷积层、 激活 层和池化层的卷积； 使用普通卷积提取所述目标对象的局部特征G1,使用通道级快速傅里叶变换提取所述 目标对象的全局特 征G2； 将所述局部特征L1和所述全局特征G1相加， 得到局部特征1； 将所述局部特征L2和所述 全局特征G2相加， 得到全局特 征1； 将所述局部特征1和所述全局特征1进行批量归一化与Relu激活， 得到激活后的局部特 征2和激活后的全局特 征2； 将所述激活后的局部特征2和所述激活后的全局特征2融合， 得到所述快速傅里叶卷积 块输出的特 征图。 6.根据权利要求5所述的基于CNN的接缝裁剪图像检测方法， 其特征在于， 所述使用通 道级快速傅里叶变换提取 所述待检测图像的全局特 征G2， 包括： 利用1×1卷积将所述待检测图像的通道数减半； 利用快速傅里叶变换将待检测图像特 征由空间域 转换到频域， 得到频域结果； 将所述频域结果利用卷积块进行批量归一化和线性激活， 并应用二维离散傅里叶逆变 换恢复到所述空间域， 得到空间域结果； 利用1×1卷积将所述通道数恢复， 得到全局特 征G2。 7.根据权利要求1所述的基于CNN的接缝裁剪图像检测方法， 在所述得到所述待检测图 像是否发生裁 剪的检测结果之后， 还 包括： 根据所述检测结果标记所述待检测图像中的裁 剪区域和/或未裁 剪区域； 根据标记的区域 生成二值图； 当所述二值图中包含裁剪区域， 则对所述二值图做先腐蚀后膨胀的开运算， 得到观测 结果。权　利　要　求　书 2/3 页 3 CN 114677359 A 3