(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210593111.2 (22)申请日 2022.05.27 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 桂盛霖　简柯青　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 曾磊 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于结构融合的目标轮廓检测方法 (57)摘要 本发明公开了一种基于结构融合的目标轮 廓检测方法， 该方法包括获取数据集、 构建基于 结构融合的目标轮廓检测模型、 计算目标检测分 支损失和轮廓检测分支损失、 将这两种损失进行 权重相加得到总损失， 并得到训练好的基于结构 融合的目标轮廓检测模型、 对测试数据进行轮廓 预测。 本发 明构建的基于结构融合的目标轮廓检 测模型将目标检测算 法SSD与轮廓检测算法CEDN 通过共享基础网络的方式融合在一起， 利用目标 检测分支将注 意力集中在目标物体这一特点， 在 不增加各自分支网络参数的情况下提升了轮廓 检测网络对无关边缘的抑制能力以及加强了对 目标轮廓的检测精度。 权利要求书3页 说明书6页 附图1页 CN 114998611 A 2022.09.02 CN 114998611 A 1.一种基于结构融合的目标轮廓检测方法， 其特 征在于， 该 方法包括以下步骤： S1)获取数据集， 所述数据集中的任意一个数据除了包括输入图像和记录输入图像中 物体的定位框标签信息的文本外， 还包括含有正确轮廓位置的轮廓标签图， 将所述数据集 按预设比例分为训练集和 测试集； S2)建立基于结构融合的目标轮廓检测模型 构建基于结构融合的目标轮廓检测模型， 该模型包括目标检测分支和轮廓检测分支， 这两个分支共享特征提取网络， 所述基于结构融合的目标轮廓检测模型在单阶段目标检测 算法SSD的基础上， 将SSD网络的特征提取网络中最后一层卷积层Conv5_3得到的尺寸为输 入图像 的特征图1作为轮廓检测分支的输入， 在轮廓检测分支中， 通过一系列反卷积和 Unpo oling层将该 特征图1还原到 输入图像大小； 具体地， 所述目标检测分支在特征提取网络VGG ‑16之后新增10个卷积层， 并将由特征 提取网络中Conv4_3卷积层得到的特征图， 以及轮廓检测分支中Conv7、 Conv8_2、 Conv9_2、 Conv10_2、 Conv11_2卷积层输出的特征图同时输入 所述基于结构融合的目标轮廓检测模 型 中的类别预测器和先验框位置预测器中进 行预测得到先验框， 先验框中含有目标物体的类 别以及位置的预测； 所述轮廓检测分支的输入是SSD网络的特征提取网络中最后一层卷积层Conv5_3得到 的特征图， 该特征图通过网络层Max  pooling 5和多个卷积层后， 利用Unpooling层以及反 卷积层的组合对该特征图进行逐步上采样直至其长和宽与输入图像相同， 最后经过反卷积 层Deconv1_2将该特征图的通道数降为1， 并采用sigmoi d函数对该特征图的像素值进行归 一化处理得到轮廓预测图， 该轮廓预测图中每个像素的像素值表示为该像素预测为轮廓的 概率； S3)计算目标检测分支损失 将目标检测分支预测得到的先验框与物体的定位框标签进行损失计算， 得到目标检测 分支损失； S4)计算轮廓检测分支损失 将轮廓检测分支得到的轮廓预测图与轮廓标签图计算每个像素的损失， 再对轮廓预测 图中所有像素的损失求和得到最后的损失， 得到轮廓检测分支损失； S5)将步骤S3)得到的目标检测分支损失和步骤S4)得到的轮廓 检测分支损失进行权重 相加后得到总损失， 并进行梯度回传更新网络参数， 重复步骤S3)和步骤S4)直至总损失不 再下降时结束训练， 得到训练好的基于结构融合的目标轮廓检测模型； S6)将测试集中待测试样本的输入图像输入经过步骤S5)得到的训练好的基于结构融 合的目标轮廓检测模型中， 得到待测试样本的预测结果。 2.根据权利要求1所述的基于结构融合的目标轮廓检测方法， 其特征在于， 所述计算目 标检测分支损失具体包括： S31)首先对先验框与定位框标签进行匹配， 匹配过程如下： S311)设定两个匹配原则： 1、 对于输入图像中的每个定位框标签， 与先验框进行交并比 IOU计算， 并将每个定位框标签分别与IOU最大的先验框匹配； 2、 对于剩 余的未匹配的先验 框， 若先验框与某个定位框标签的IOU 大于预设阈值， 那么该先验框也与这个定位框标签进权　利　要　求　书 1/3 页 2 CN 114998611 A 2行匹配； S312)将经过步骤S311)处理后与定位框标签匹配的先验框集合记为Pos， 对于剩下没 有与定位框标签匹配的先验框集合记为Neg， Pos中的先验框数量记为k， 然后对Neg中先验 框的类别置信度进行排序， 选择置信度排名前3k的先验框， Pos中的k个先验框与从Neg中挑 选出的3k个先验框一 起， 总共挑选出4 k个先验框； S32)设置所述目标检测分支的损失函数包括两个部分， 一是先验框的偏移量损失， 另 一个则是 先验框的类别预测损失； 对于先验框的偏移量损失函数为： 其中i表示先验框的序号， j表示定位框标签的序号， 若第i个先验框与第j个定位框标 签匹配， 则xij＝1， 否则xij＝0； N表示Pos中 的元素总数， m表示上标m∈[cx,cy,w,h]， lcx,lcy 分别表示所述基于结构融合的目标轮廓检测模型预测的先验框中心坐标的x分量和y分量， lw,lh分别表示所述基于结构融合的目标轮廓检测模型预测的先验框长和宽的偏 移量， 表 示预测的第i个先验框的信息， 为定位框标签的编码值， 具体的计算公 式如下： 其中 分别表示第i个先验 框的中心坐标的x分量、 y分量、 先验 框的长和宽， 分别表示第j个定位框标签的中心坐标的x分量、 y分量以及定位框标签的长 和宽， log(·)表示自然对数， 函数s moothL1(*)的具体形式为： 对于先验框的类别预测损失函数为： 其中 权　利　要　求　书 2/3 页 3 CN 114998611 A 3