(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210492187.6 (22)申请日 2022.05.07 (71)申请人 上海应用技 术大学 地址 201418 上海市奉贤区海泉路10 0号 (72)发明人 于万钧　史悦　 (74)专利代理 机构 北京奥肯律师事务所 1 1881 专利代理师 王娜 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多层次特征融合的RGB-D显著性检 测方法 (57)摘要 本发明公开了一种基于多层次特征融合的 RGB‑D显著性检测方法。 该方法能够通过探索多 层次差异化特征融合方式， 以实现对图片的显著 性检测。 提出的方法通过设计深度增强模块过滤 深度图中的冗余信息， 并且从通道和空间维度挖 掘有用的信息； 通过在高低层次上设计不同的特 征融合模块， 更好地探索全局信息与局部信息以 实现对显著图的准确预测。 通过上述方式， 本发 明主要解决显著性检测 中低质量深度图问题和 在跨模态融合时各层次采用相同的融合方式问 题， 属于计算机视觉领域的技 术。 权利要求书1页 说明书3页 附图3页 CN 114742994 A 2022.07.12 CN 114742994 A 1.一种基于多层次特 征融合的RGB ‑D显著性检测方法， 其特 征在于包括以下步骤： S1： 通过两个分支输入RGB图片和深度图片； S2： 两个分支采用相同的ResNet5 0作为主干网络， 构成五个特 征提取结构层； S3： 对每层主干网络提取到的深度特 征都进行深度增强操作； S4： 对第五层所提取到的深度特征和 RGB特征通过空洞空间卷积池化金字塔模块捕获 多尺度语义信息； S5： 在高层次(第四层、 第五层)使用高层特征融合模块对提取到的RGB特征和增强后的 深度特征进行特征融合； S6： 在低层次(第一、 二、 三层)使用低层特征融合模块对提取到的RGB特征和增强后的 深度特征进行特征融合； S7： 网络在最低层产生 一个最终预测显著图。 2.根据权利要求1所述的一种基于多层次特征融合的RGB ‑D显著性检测方法， 其特征在 于： S3中采用注意力机制对深度图进行增强， 具体操作如下： 将每层提取到的深度图首先进行一次3*3的卷积和ReLU激活操作， 将其结果与原深度 图进行一次像素级相乘再进行一次通道注意力操作。 将通过通道注意力操作的结果与 原深 度图再进行一次像素级相乘， 即可 得到增强后的深度图结果。 3.根据权利要求1所述的一种基于多层次特征融合的RGB ‑D显著性检测方法， 其特征在 于： S5中高层特征融合模块更注重全局特 征的提取与融合， 具体操作如下： 首先， 分别将每层提取到的RGB特征和增强后的深度特征进行一次1*1卷积、 批标准化 和ReLU激活操作， 然后进 行一次3*3卷积操作， 再将此结果与上层特征融合流进 行像素级相 加， 相加结果再通过一次3 *3卷积后得到各高层的特 征融合结果。 4.根据权利要求1所述的一种基于多层次特征融合的RGB ‑D显著性检测方法， 其特征在 于： S6中低层特 征融合模块更注重局部特 征的过滤与选择性处 理， 具体操作如下： 首先， 把RGB特征和增强后的深度特征送入3*3卷积层中， 再将两个结果相乘以进行特 征融合变换； 然后将得到的跨模态结果再进行一次3*3卷积和Sigmoid激活。 最后， 将上层跨 模态融合特征作为残差信息与上述结果进行像素级相加， 再通过一次通道注意力操作后， 即可得到各低层的特 征融合结果。权　利　要　求　书 1/1 页 2 CN 114742994 A 2一种基于多层次特征融合的RGB ‑D显著性检测方 法 技术领域 [0001]本发明涉及计算机视觉领域， 特别是涉及一种基于多层次特征融合的RGB ‑D显著 性检测方法。 背景技术 [0002]显著性检测旨在让计算机模拟 人类视觉， 在观察某一区域时总是能挑选出最令人 感兴趣的区域或物体。 近年来， 由于卷积神经网络在特征提取方面的强大能力， 基于卷积神 经网络的方法被设计出来并在显著目标检测方面表现出优异的性能， 其被广泛应用于图像 分割、 图像字幕、 图像编辑(08981965)、 图像压缩等。 在 RGB‑D显著性检测中， 低质量深度图 与跨模态特征融合方法是其中重要的两个问题之一， 所以为了解决以上两个问题， 提出了 一种基于多层次特 征融合的RGB ‑D显著性检测方法。 发明内容 [0003]本发明主要解决的技术问题是提供一种基于多层次特征融合的RGB ‑D显著性检测 方法， 利用深度增强模块对低质量深度图信息进行过滤， 并且在高层次和低层次分别采用 不同的融合策略进行 特征融合。 [0004]一种基于多层次特 征融合的RGB ‑D显著性检测方法， 包括以下 执行步骤： [0005]S1： 通过两个分支输入RGB图片和深度图片； [0006]S2： 两个分支采用相同的ResNet5 0作为主干网络， 构成五个特 征提取结构层； [0007]S3： 对每层主干网络提取到的深度特 征都进行深度增强操作； [0008]S4： 对第五层所提取到的深度特征和RGB特征通过空洞空间卷积池化金字塔模块 捕获多尺度语义信息； [0009]S5： 在高层次(第四层、 第五层)使用高层特征融合模块对提取到的RGB特征和增强 后的深度特 征进行特征融合； [0010]S6： 在低层次(第一、 二、 三层)使用低层特征融合模块对提取到的RGB特征和增强 后的深度特 征进行特征融合； [0011]S7： 网络在最低层产生 一个最终预测显著图。 [0012]所述的S3过程为： 将每层提取到的深度图首先进行一次3*3的卷积和ReLU激活操 作， 将其结果与原深度图进行一次像素级相乘再进行一次通道注意力操作。 将通过通道注 意力操作的结果与原深度图再进行一次像素级相乘， 即可 得到增强后的深度图结果。 [0013]所述的S5过程为： 首先， 分别 将每层提取到的RGB特征和增强后的深度特征进行一 次1*1卷积、 批标准化和ReLU激活操作， 然后进行一次3*3卷积操作， 再将此结果与上层特征 融合流进行像素级相加， 相加结果再通过一次3 *3卷积后得到各高层的特 征融合结果。 [0014]所述的S6过程为： 首先， 把RGB特征和增强后的深度特征送入3*3卷积层中， 再将两 个结果相乘以进 行特征融合变换； 然后将得到的跨模态结果再进行一次3*3卷积和Sigmoid 激活。 最后， 将上层跨模态融合特征作为残差信息与上述结果进 行像素级相加， 再通过一次说　明　书 1/3 页 3 CN 114742994 A 3