(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210448097.7 (22)申请日 2022.04.27 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区崇文路2号 (72)发明人 王诗言　雷国芳　张青松　张江山　 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种极坐标下基于轮廓点表示掩膜的单阶 段实例分割方法 (57)摘要 本发明提出了一种极坐标下基于轮廓点表 示掩膜的单阶段 实例分割方法。 首先使用ResNet 和本发明设计的LRFE模块作为主干网络， 弥补了 下采样造成的信息损失， 同时在一定程度上增强 了网络对小目标的捕获能力。 其次使用FPN实现 特征融合。 然后使用IC KS模块和检测头组成检测 网络， ICKS模块提高了检测网络对未知变化的适 应性和泛化能力。 接下来增加语义分割分支， 使 网络模型在语义信息的引导下补充和矫正实例 分割的结果。 此外， 被发明还使用自适应优化器 灵活而稳定地收敛损失函数。 相比于目前最新的 实例分割网络， 本发明为单阶段 实例分割开辟了 新的思路， 其优点在于简化了实例掩膜的建模 过 程， 同时在训练阶段没有锚框的限制， 因此性能 更优， 分割效果更好。 权利要求书3页 说明书10页 附图5页 CN 115331003 A 2022.11.11 CN 115331003 A 1.本专利提出一种极坐标下基于轮廓 点表示掩膜的单阶段实例分割方法。 该方法通过 引入LRFE模块(局部感受野扩 大模块)和ICKS模块(不规则卷积核采样模块)， 设计了在极坐 标上基于轮廓建模的单阶段实例分割网络(OISC网络)， 所提模块可以有效提升网络感受 野， 从而更好地利用输入特征。 在此基础上增加了语义分割子网络， 为网络补充语义信息。 同时， 提出语义分割区域缩小 方案， 以实现更好的语义分割效果。 该方法可以在保证分割速 度的前提下， 提升极坐标 下单阶段实例分割的分割精度。 本专利算法模型 结构主要包括以下步骤： S1： 使用ResNet网络和LRFE模块作为主干网络， 用于对输入图片进行 特征提取； S2： 使用FPN作为中间 网络， 对主干网络的输出进行 特征融合； S3： 使用ICKS模块作为检测网络的前半部分， 对中间 网络的输出进行 特征采样； S4： 检测网络的后半部分由分类预测、 OISC中心度预测 和密集距离预测三个分支组成； S5： 语义分割分支提取FPN的语义信息， 得到语义信息特征图， 通过语义信息引导网络 将不同层的信息充分结合并利用， 对检测网络的输出进行补充和矫 正； S6： 合并语义信息特征图和检测网络的输出结果对分割结果， 得到最终实例分割的结 果。 2.基于权利要求1中所述的极坐标下基于轮廓点表示掩膜的单阶段实例分割方法， 其 特征在于： 基于轮廓点在极坐标上表示掩膜的方法为单阶段实例分割开辟了新的思路， 其 优点在于简化了实例掩膜的建模过程， 同时在训练阶段没有锚框的限制 。 基于极坐标建立 轮廓的具体方法如下： 给定一个实例掩膜， 首先采样一系列实例的中心点(xc,yc)和轮廓点(xi,yi)， i＝1， 2，……， N， 然后从 中心点出发， 以相同的角度间隔Δθ 从 中心的出发设置n条射线， 射线的长 度是中心点到轮廓点的距离， 例如n＝72， Δθ＝5 °， 那么实例掩膜则由72个轮廓点连接所包 围的面积表示。 通过这种 方式， 在极坐标中将实例掩膜建模为一个中心点和n条射线。 与这 些射线对应的轮廓点的坐标表示 为： xi＝xc+ri×sin(Δθi)   (1) yi＝yc+ri×cos(Δθi)   (2)。 3.基于权利要求1中所述的极坐标下基于轮廓点表示掩膜的单阶段实例分割方法， 其 特征在于： 在步骤S1中， LRFE模块中不规则 卷积核的设计方法是将空洞率设置为连续排布 的锯齿状， 既保证了原始分辨率和原来的参数个数， 又为网络争取到了更大 的感受野来提 取输入信息， 相比于传统的空洞卷积， 其优势在于可以保证所有输入都能最大限度地参与 计算， 使网络能够 在很大程度上解决传统 空洞卷积中输入被遗漏造成的网格效应。 主干网络的残差模块设计为： 将输入通过将输入通过1 ×1的卷积层， 然后对其进行BN (批量归一化)， 同时使用ReLU函数将数据进行非线性化处理， 经过3 ×3的空洞卷积之后， 同 样经过BN和ReLU之后， 通过1 ×1的卷积层将输出维度还原为与输入一致。 在各个残差块中 引入空洞卷积， 其中Ri,R2,...,Rn为残差网络中每 个残差块对应的空洞率。 4.基于权利要求1中所述的极坐标下基于轮廓点表示掩膜的单阶段实例分割方法， 其 特征在于： 在步骤S3中， ICKS模块采用四层 级联卷积的结构采样特征， 通过给卷积核训练偏 移量， 使其能够自由移动、 尺度缩放和旋转， 从而更贴近目标的形状和尺寸， 更好地传输目 标的特征。 对于特征图上的每个采样点， 都会通过一个卷积层设置一个偏移 量， 卷积核在这权　利　要　求　书 1/3 页 2 CN 115331003 A 2些偏移量的作用下能够在当前位置附近根据目标的形状和尺寸进 行采样， 而不再像常规卷 积的卷积核， 只能在特定形状和尺寸下进行采样。 在这四个卷积层中， 卷积层的输出y都是 对输入X上的区域R内每 个采样点Pn训练了偏移量ΔPn之后得到的， y上每 个位置的结果 为： 5.基于权利要求1中所述的极坐标下基于轮廓点表示掩膜的单阶段实例分割方法， 其 特征在于： 在步骤S4中， 检测网络的后半部 分包括分类预测、 OISC中心度预测和密集距离预 测三个分支。 具体地： 分类预测采用Focal  Loss， 对每个实例的类别进行预测并打分， 得到Score1。 此外， 正 负样本的定义方法如下： 如果预测出的质心 落在目标真实质心的上、 下、 左、 右1.5个单位步 幅内， 即大概9到16个像素， 视为正样本， 如果落在这个范围外， 则视为负样本。 这样设定的 好处在于， 一方面， 正样本的数量从1增加到9～16， 可以在很大程度上避免正负样本不平 衡； 另一方面， 质心可能不是一个实例的最佳中心 点， 更多的候选点有利于找到实例的最佳 中心点。 OISC中心度预测通过OISC中心度在不引入超参数的情况下减少低质量样本的产生， 协 助网络定义更高质量的密集距离。 给定一个密集距离的集合{d1,d2,...,dn}， OISC中心度可 以定义为： 通过这种方式给轮廓点赋值， 越靠近质心的点权重越大。 具体地， OISC  Centerness是 在0到1之间取值的Score2， 其值越接近于1， 说明di的最大值和 最小值越接近， 那么越可能 得到更准确的质心。 式 中开根号是为了使OISC  Centernes s的变化更加平 滑。 密集距离预测实质上是间接地 回归预测出的掩膜， 每一个预测出的正样本都对应一组 待回归的密集距离{d1,d2,...,dn}， 这些密集距离的一端是实例质心， 另一端则是轮廓点， 这一组轮廓点连接之后围成的形状便对应实例掩膜。 将预测出的掩膜和真实掩膜的面积作IOU(交并比)， IOU定义了预测区域和真实区域之 间的相似性， 一般通过计算预测区域和真实区域面积的交并比来计算IOU的值。 OISC的交并 比可以表示 为： 实例掩膜的生成方式是： 在推理过程中， 网络会预测出OISC中心度的分数和目标类别 对应的分数， 最终的置信分数是二者的乘积。 将最终分数大于0.05的每一组密集距离值保 留下来， 在保留的这些值中， 特征图的每层只取分数最高的前1000个， 合并所有层的1000个 值， 在经过阈值为0.5的非极大值抑制之后， 得到网络可回归的密集距离样本， 连接密集距 离对应的轮廓点， 得到实例分割的掩膜。 6.基于权利要求1中所述的极坐标下基于轮廓点表示掩膜的单阶段实例分割方法， 其 特征在于： 在步骤S5中， 特征金字塔的P3层经过3 ×3的卷积， P4层的经过3 ×3的卷积和2倍 上采样， P5层经 过两次3×3的卷积和两次2倍上采样。权　利　要　求　书 2/3 页 3 CN 115331003 A 3