(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599134.4 (22)申请日 2022.05.30 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 桂盛霖　简柯青　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 闫树平 (51)Int.Cl. G06V 10/10(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于双深度融合网络的轮廓检测方法 (57)摘要 本发明涉及计算机视觉领域， 具体为一种基 于双深度融合网络的轮廓检测方法。 该方法通过 类HED模块和类CEDN模 块的设置， 实现HED算 法与 CEDN算法的融合。 在融合的过程中， 通过类CEDN 模块中的G‑Weights Block网络生成特征融合权 重图， 然后在Refine  Block网络中将类HED和类 CEDN模块提取的不同尺度特征图与特征融合权 重图动态融合、 并通过上采样得到还原至输入图 片尺度后输出。 由于特征融合权重图的加入提高 不同层次特征图之间的关联性， 使得轮廓检测具 备更高的精度。 权利要求书2页 说明书5页 附图3页 CN 115019022 A 2022.09.06 CN 115019022 A 1.一种基于双深度融合网络的轮廓检测方法,其特 征在于： 包括以下步骤： 步骤1、 建立基于轮廓检测的双深度融合网络结构 基于轮廓检测的双深度融合网络结构包括： 类HED模块、 类CEDN模块、 Refine  Block网 络和sigmo id网络； 所述类HED模块采用不含全连接层的VGG ‑16网络， 用于提取输入图片的n个不同尺度的 特征图； 所述类CEDN模块由ResNet ‑50网络和G ‑Weights Block网络组成； G ‑Weights Block网 络连接在 ResNet‑50网络之后； ResNet ‑50网络用于提取输入图片的n+1个尺度不同的特征 图， 其中前n个特征图的尺度与类HED模块提取出的特征图尺度一一对应， 第n+1个特征图作 为G‑Weights Block网络的输入； G ‑Weights Block网络用于将输入的特征图通过卷积和双 线性上采样操作生成n个特征权重融合图输出； n个特征权重融合图的尺度与ResNet ‑50网 络中前n个特 征图尺度一 一对应； 所述Refine  Block网络分别 连接类HED模块、 ResNet ‑50网络和G ‑Weights Block网络 后再连接sigmoid网络； Refine  Block网络由k个Refine  Block层组成； 其中Refine  Block1 的输入为类HED模块和ResNet ‑50网络各提供的一个特征图、 G ‑Weights Block网络提供的 一个特征融合权重图； 余下的Refine  Block层中， 每个Refine  Block层的输入均为类HED模 块和ResNet ‑50网络各提供的一个特征图、 G ‑Weights Block网络提供的一个特征融合权重 图以及Refine  Blockk‑1输出的特征图； 需要说明的是： 尺度特征图不能重复选用； 在同一 Refine Block层中， 来自类HED 模块、 ResNet ‑50网络以及G ‑Weights Block网络的特征图尺 度相同； Refine  Block网络用于将G ‑Weights Block网络生成的特征融合权重图、 类HED模 块和ResNet ‑50网络提取的特征图动态 融合， 并对融合后的特征图进行上采样还原至输入 图片尺度后输出； 所述sigmoid网络用于将Refine  Block最终输出的特征图像素值归一化到0 ‑1范围内， 从而得到最终的目标检测轮廓预测图； 步骤2、 计算目标检测轮廓预测图的损失 将步骤1得到的目标检测轮廓预测图中每个像素与预设轮廓标签中的对应像素进行带 权重的交叉熵损失计算， 得到每个像素的损失， 再对所有像素的损失求和得到损失总和， 然 后将损失总和计算梯度， 反向传播更新目标检测网络的参数； 步骤3、 重复步骤2， 直到总的损失不再下降， 目标检测网络收敛， 完成目标检测网络的 训练。 2.根据权利要求1所述的一种基于双深度融合网络的轮廓检测方法,其特征在于： ， 所 述n为4， 4个特征图的尺度分别为输入图片的 第n+1个特征图的尺度为输入 图片 所述k＝2、 3、 4。 3.根据权利要求1所述的一种基于双深度融合网络的轮廓检测方法,其特征在于： ， 所 述Refine  Block网络中各层Refine  Block在对输入特征图进行融合的过程还还对特征矩 阵进行了重排列， 使不同特征图之间关联性和差异性得到更加充分的利用； 重排列的步骤 如下： 步骤1.1、 先通过卷积将所有特征图的通道数统一降为Cd， 再把所有特征图按通道分别权　利　要　求　书 1/2 页 2 CN 115019022 A 2拆分成Cd个特征矩阵； 步骤1.2、 然后 Refine Block1按照来自类HED模块的特征矩阵、 来自ResNet ‑50网络的 特征矩阵、 特征融合权重图顺序依次排列， 重复该操作直到所有 特征矩阵排列完 毕， 然后按 照重排结果 拼接之后得到新的特 征图； Refine Block2、 Refine  Block3和Refine  Block4按照来自类HED模块的特征矩阵、 来 自类ResNet ‑50网络的特征矩阵、 与其自身相连的Refine  Block输出特征矩阵、 特征融合权 重图顺序依 次排列， 重复该操作直到所有特征矩阵排列完毕， 然后按照重排结果拼接之后 得到新的特 征图。 4.根据权利要求1所述的一种基于双深度融合网络的轮廓检测方法,其特征在于： 所述 Refine Block网络中各层Refine  Block都设有子像素卷积模块， 子像素卷积模块输入为 Refine Block1或Refi ne Block k得到的新的特 征图， 输出为经 过上采样的特 征图。权　利　要　求　书 2/2 页 3 CN 115019022 A 3