(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210620648.3 (22)申请日 2022.06.02 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 赵于前　王辉　张帆　阳春华　 桂卫华　 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/44(2022.01) G06V 10/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于递归解码器的显著性检测方法 (57)摘要 本发明公开了一种基于递归解码器的显著 性检测方法， 主要解决现有技术显著性检测结果 准确率低， 显著性主体判断错误与边缘模糊的问 题。 其实施方案为： 1)获取数据集与检测标签； 2) 构建检测模型； 3)构建损 失函数； 4)训练检测模 型； 5)推理并获得检测结果。 本发明构建的显著 性检测模型， 通过多次全尺度特征融合与边缘强 化， 实现了多尺度特征的充分利用与解码结果的 细节补充， 有效提升了显著性检测结果的准确 率， 避免了检测结果中显著性主体判断错误的发 生， 解决了解码结果存在边 缘模糊的问题。 权利要求书3页 说明书10页 附图3页 CN 114937154 A 2022.08.23 CN 114937154 A 1.一种基于递归解码器的显著性检测方法， 其特 征在于包括以下步骤： (1)获取数据集与检测标签： 获取显著性检测公开数据集及对应的检测标签； (2)构建检测模型， 该模型由特征提取器、 递归解码器RD ‑1和RD‑2、 边缘强化模块ER ‑1 和ER‑2、 整体注意力模块HA构成， 具体构建过程包括以下步骤： (2‑a)构建特征提取器， 以ResNet ‑50作为特征提取器 的基础网络； 所构建的特征提取 器共分五层： 第一层， 即Res1， 由单层卷积模块构成； 第二层， 即Res2， 由一个池化层和三层 残差模块构成； 第三层， 即Res3， 由四层残差模块构成； 第四层包括Res4 ‑1和Res4‑2， 二者拥 有相同的结构， 都由六层残差模块构成， 第五层包括Res5 ‑1和Res5‑2， 二者也拥有相同的结 构， 都由三层残差模块构成； 第四层和第五层为双分支结构， 其中第四层的Res4 ‑1和第五层 的Res5‑1串联构成第一个分支， 第四层的Res4 ‑2和第五层的Res5 ‑2串联构成第二个分支； 输入图像经过Res1处理， 获得三维特征图f1_1、 f1_2和f1_3， 且f1_1＝f1_2＝f1_3； f1_3输入Res2获 得三维特征图f2_1、 f2_2和f2_3， 且f2_1＝f2_2＝f2_3； f2_3输入Res3获得三维特征图f3_1、 f3_2和 f3_3， 且f3_1＝f3_2＝f3_3； f3_3依次经过第一个分支的Res4 ‑1和Res5‑1处理后分别获得三维特 征图f4_1和f5_1； f3_3与整体注 意力模块HA的输出结果通过逐像素相乘实现加权， 加权结果依 次经过第二个分支的Res4 ‑2和Res5‑2处理后分别获得三维特征图f4_2和f5_2； HA由单层卷积 构成， 它以递归解码器RD ‑1的输出结果作为输入； (2‑b)构建递归解码器RD ‑n， 该解码器由长依赖模块LRDM、 感受野模块RFB、 子解码器1、 子解码器2、 子解码器3和卷积模块Conv2构成； 将步骤(2 ‑a)获取的特征图f2_n、 f3_n、 f4_n和 f5_n分别作为递归解码器RD ‑n的输入1、 输入2、 输入3和输入4， n＝1,2； fi_n依次经过LRDM与 RFB处理后得到 其中i＝2,3,4,5； 将 和 作为子解码器1的输入， 得 到输出结果mask1_n， 将mask1_n和 作为子解码器2的输入， 得到输出 结果mask2_n， 将mask2_n和 作为子解码器3的输入， 得到输出结果 mask3_n， 将mask3_n作为卷积模块Conv2的输入， 得到粗特征图mapn， 即为递归解码器RD ‑n的 输出结果； 该步骤中的长依赖模块 LRDM和子解码器分别构建如下： (2‑b‑1)构建长依赖模块LRDM； 以步骤(2 ‑a)获得的特征图fi_n作为输入， 经该模块的通 道维度自适应均值池化层处理并进行特征展开后， 获得一维特征， 将一维特征输入全连接 层后， 经过激活函数与特征逆展开处理， 再与特征图fi_n进行逐像素相乘操作， 得到LRDM的 输出； 其中i ＝2,3,4,5， n ＝1,2； (2‑b‑2)构建子解码器， 三个子解码器都具有相同的结构， 由递归池化模块RP、 递归上 采样模块 RU、 上采样模块Up、 通道注 意力模块CA、 卷积模块Conv1和拼接层构成； 其中递归池 化模块RP由池化层、 卷积层和激活层构成， 递归 上采样模块 RU由上采样层、 卷积层和激活层 构成； 在子 解码器1、 2、 3中， 分别以直接输入 到拼接层的特征 为基准特征， RP和RU分别对来 自RFB的输入特征进行以基准特征尺寸为参考的尺度归一化； 归一化后的 特征与基准特征拼接后， 再与上采样模块Up的输出结果通过逐像素相乘运算实现加权， 加 权结果依次输入CA和Co nv1后， 得到 子解码器的输出；权　利　要　求　书 1/3 页 2 CN 114937154 A 2子解码器1中RP的输入为 与 RU和Up的输入都为 子解码器2中RP的输入为 RU的输入为 与 Up的输入为子解码器1的输出； 子解码器3中RP的输入为零， RU 的输入为 与 Up的输入为子解码器2的输出； (2‑c)构建边缘强化模块ER ‑n， 该模块由卷积块1和卷积块2构成， 其中卷积块1由三层 残差模块构成， 卷积块2由五层卷积构成； 将步骤(2 ‑a)得到的特征图f1_n经卷积块 1处理后， 与步骤(2 ‑b)得到的粗特征图mapn进行逐像素相加， 再经卷积块2处理后， 得到显著性检测 图， 其中n ＝1,2； (3)构建损失函数： 构建如下混合损失函数Lmix： Lmix＝LBCE+LMSSIM+LDice 其中LBCE为二元交叉熵损失， LMSSIM为平均结构相似性损失， LDice为Dice损失， 分别定义 如下： 其中P表示预测图， Gt表示标签图， 二者尺寸相同， H表示图的高， W表示图的宽， Pi， j和 Gti,j分别表示P和Gt中(i， j)点的像素值， 且Pi， j∈(0， 1)， Gti,j为整数且Gti,j∈[0， 1]， log表 示求自然 对数， 表示逐像素相加操作， 表示逐像素相乘操作， C1与C2为实数常量， 且C1、 C2 ∈(0， 0.1)； M表示将标签图Gt以及对应的预测图P划分成子图对的个数， 为预测图P第k 个子图的均值， 为标签图Gt第k个子图的均值， 为预测图P第k个子图的方差， 为 标签图Gt第k个子图的方差， 为预测图P的第k个子图和标签图Gt的第k个子图之间的 协方差； |·|表示求取图像中所有像素的和； 对模型的两个分支的显著性检测图分别计算 混合损失函数， 以这两个混合损失函数之和作为模型的总损失函数， 定义如下： Ltotal＝Lmix‑1+Lmix‑2 其中， Lmix‑1和Lmix‑2分别表示第一和第二分支的显著性检测图与标签之间的混合损失， Ltotal表示模型的总损失函数； (4)训练检测模型： 利用步骤(1)得到的数据集训练步骤(2)构建的检测模型， 模型中的特征提取器使用预 训练模型进行参数初始化； 使用混合损失函数Lmix‑1和Lmix‑2分别衡量第一和第二分支的显 著性检测图与标签之间的相似性； 训练过程中使用Adam算法更新模型参数， 并通过L ‑2正则 化作为约束， 直到损失值 不再下降， 得到训练好的显著性检测模型； (5)推理并获得检测结果： 将测试图像经过归一化处理之后， 输入至训练好的显著性检测模型， 该模型第二分支 得到的显著性检测图即为 最终的显著性检测结果。权　利　要　求　书 2/3 页 3 CN 114937154 A 3