(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210279696.0 (22)申请日 2022.03.21 (71)申请人 安徽理工大 学 地址 232001 安徽省淮南市山 南新区泰丰 大街168号 (72)发明人 夏晨星　孙延光　高修菊　李续兵　 赵文俊　 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于高效多尺度上下文探索网络的显著性 目标检测算法 (57)摘要 本发明属于计算机视觉领域， 提供了一种基 于高效多尺度上下文探索网络的显著性目标检 测算法， 包括以下步骤： 1)利用预训练好的 ResNet‑50网络从RGB图像中提取初始多层次特 征； 2)基于渐进式多尺度上下文提取模块， 高效 捕获多尺度多感受野上下文信息来增加初始多 层次特征中的显著性信息； 3)将优化的多层次特 征嵌入层次化特征混合交互模块， 通过高效交互 不同层次特征生成高质量特征表示； 4)将高质量 特征表示进行一系列的降维激活生成初始显著 性图。 通过大量的实验数据对比， 充分证明了此 发明的高效性。 权利要求书2页 说明书5页 附图1页 CN 114612684 A 2022.06.10 CN 114612684 A 1.基于高效多尺度上下文探索网络的显著性目标检测算法， 其特征在于， 该方法包括 以下步骤： 1)输入RGB图像， 将预训练好的ResNet5 0网络作为主干网络用于提取初始多层次特 征； 2)利用集成了组卷积操作、 空洞卷积操作和不对称卷积操作的渐进式多尺度上下文探 索模块实现高效地捕获多感受野多尺度特征， 进而增加初始多层次特征中的显著性目标信 息； 3)基于层次化特 征混合交 互模块自适应地交 互多层次特 征来生成高质量特 征表示； 4)对高质量特征表示执行一系列降维激活操作来生成初始显著性图， 并利用真值标签 进行监督训练。 2.根据权利要求1所述的基于高效多尺度上下文探索网络的显著性目标检测算法， 其 特征在于： 所述 步骤1)具体方法是： 2.1)收集 并整理显著性检测领域相关数据集， 包含SOD数据局， ECSSD 数据集， PASCAL ‑S 数据集， DU T‑OMRON数据集， HKU ‑IS数据集和DUST数据集。 2.2)考虑到模型训练需要大规模数据， 本专利使用包含10553张图像 的DUTS数据集作 为训练数据集， 利用ECSSD， PASCAL ‑S,HKU‑IS,DUT‑OMRON和DUTS ‑TE数据集作为测 试数据 集， 用于检测模型的泛化 性能。 2.3)将预训练好的ResNet50网络作为主干网络用于提取初 始多层次特征I＝{Ii|i＝1, 2,3,4,5}。 3.根据权利要求1所述的基于高效多尺度上下文探索网络的显著性目标检测算法， 其 特征在于： 所述 步骤2)具体方法是： 3.1)为了节省计算资源， 我们首先使用一个可以以多分支的方式处理初始多级特征的 1×1组卷积， 来提高模型的精度， 并且组设置为4， 对于初始多级特征， 我们将其重建为128 个通道， 然后我们使用卷积核大小为(1 ×(2n+1)， (2n+1) ×1)的非对称卷积来提取上下文 信息， 这里n表示在第i个阶段(i ＝1， 2， 3， 4)。 3.2)随后， 我们使用深度可分离卷积再次提取多尺度上下文信息， 该卷积可以以较少 的参数强有力地提取多尺度上下文信息， 并且填充率设置为2 n。 此外， 我们还引入了两种剩 余连接(即直接剩余连接和间接剩余连接(使用大小为1 ×1卷积运算的卷积核再次处理输 入特征))来增加输入特 征的多样性。 3.3)使用从小感受野分支提取的上下文作为指导输入大感受野分支， 以渐进方式增强 多尺度多感受野上 下文之间的相关性， 进 而捕获上 下文信Mn。 相关公式如下 所示： 这里σ表示降维运算， C1表示核大小为1 ×1的卷积运算， A表示核大小为(1 ×(2n+1)、 (2n+1)×1)的非对称卷积运 算， ∑是元素加法运 算， Dn表示填充率为2n的深度可分离卷积。 3.4)对这些上下文信息Mn执行特征拼接操作， 并引入残差特征来生成包含丰富重要信 息的多层次特 征Q＝{Qi|i＝1,2,3,4,5}。 特 征Q的定义如下： Q＝∑( σ(I)， σ(Cat(M1， ...， Mn)))， n＝4     (2) 其中Cat表示特征串联操作， σ 和∑与方程1相似。 请注意， 每个初始多级特征I通过渐进权　利　要　求　书 1/2 页 2 CN 114612684 A 2式多尺度上 下文探索模块 生成相应的特 征Q。 4.根据权利要求1所述的基于高效多尺度上下文探索网络的显著性目标检测算法， 其 特征在于： 所述 步骤3)具体方法是： 4.1)我们使用的输入策略与DSS网络中的输入类似， 但与之不同的是， 我们将渐进式多 尺度上下文探索模块中生成的多层次特 征Q作为同一级别的指导 一起输入。 4.2)每个多层次特征Q可以在层次化特征混合交互模块中四次交互信息， 我们首先对 所有输入特 征执行元素乘法和元 素加法运 算。 4.3)然后， 为了提高多层次特征Q的利用率， 我们在第二阶段再次在特征Q的指导下进 行元素级加法和元素级乘法， 在第三阶段， 两组特征依 次串联， 最后， 执行降维操作以生成 高质量的特 征表示P＝{Pi|i＝1,2,3,4,5}， 其公式定义 为： 其中σ 表示降维操作， Cat 表示特征拼接操作， ∑和*表示按元 素的加法和乘法运 算。 5.根据权利要求1所述的基于高效多尺度上下文探索网络的显著性目标检测算法， 其 特征在于： 所述 步骤4)具体方法是： 5.1)在提出的方法中， 我们使用二进制交叉熵(BCE)损失函数和IoU损失函数作为损失 函数， 并使用深度监 督策略来训练模型。 从数 学上讲， 损失函数计算如下： δ ＝ δbce+δiou     (4) 其中δbce表示二元交叉熵(BCE)损失函数， 它可以独立计算每个预测像素的损失， 是分 割和二元分类中广泛使用的损失。 δiou代表IoU损失函数， 它可以帮助改进训练过程， 提高显 著对象预测的可信度。权　利　要　求　书 2/2 页 3 CN 114612684 A 3