(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210167375.1 (22)申请日 2022.02.23 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 杨鑫　梅海洋　周运铎　魏小鹏　 朴海音　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 隋秀文 (51)Int.Cl. G06T 7/13(2017.01) G06T 7/73(2017.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/28(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于全方位感知的伪装目标图像分割方法 (57)摘要 本发明属于计算机视觉中的场景分割技术 领域， 提供了一种基于全 方位感知的伪装目标图 像分割方法， 设计了一种面向精确伪装目标分割 的新型全 方位感知网络， 其中提出了金字塔定位 模块和双聚焦模块， 来耦合局部特征和全局表 示， 以便更准确地定位伪装目标并精细划分边 界， 解决计算机视觉中伪装目标分割的问题。 本 发明的方法伪装目标分割的结果， 同时在不同场 景下具有有效性和实用性。 权利要求书3页 说明书6页 附图1页 CN 114549567 A 2022.05.27 CN 114549567 A 1.一种基于全方位感知的伪装目标图像分割方法， 其特 征在于， 步骤如下： 步骤1、 构建伪装目标分割网络OPNet 伪装目标分割网络OPNet主要 由特征提取器、 一个金字塔定位模块和三个双重聚焦模 块组成； 特征提取器的主干网络采用的是Conformer， 通过双重网络结构即卷积分支和 Transformer分支同时提取局部特征和全局表示， 并通过功能耦合单元以交互方式融合局 部特征和全局表示； 金字塔定位模块使用金字塔自注意力机制， 金字塔定位模块的输入为从Conformer的 卷积分支和Transformer分支中提取的局部特征C和全局表示T， T中包括N  patch token  embeddings  Tp和1segmentation  token embeddingsts； 首先通过自适应平均池化和重塑操 作将输入转换为 一致的形状： 其中， [ ]e表示embedding维度上的串联操作； ψk表示一个k ×k的卷积层； 表示目标 尺寸为n×n的自适应平均池化； 表示变形操作； 表示正则化层； 表示激活函数； 然 后， 使用元 素级加法运 算将两种特 征融合： Ffusion＝Cdown+Tdown, 在这之后， 将Ffusion反馈至联合依赖感知模块中以检测全局相关性： 其中， 表示多头自注意力机制； 表示多层感知机； 得到的Fjdp由两部分组成， 分别为N  patch token embeddingsFp和1segmentation   token embeddingsfs； 然后对Fjdp进行两种类型的变换， 以生成两种类型的特征， 分别用于 增强局部特 征和全局表示： 其中， 是由双线性运算实现的上采样； 给定 中的目标大小n后， 联合依赖感知模块 仅在固定尺度上执行全局相关性感知； 在特定尺度下， Ffusion中的每个patch  token  embeddings都是具有特定尺寸区域的表示； 通过改变联合依赖感知模 块中 的n以实现多 尺度依赖感知： 其中， []c表示通道维度上的串联操作； 和 是联合依赖感知模块 的输出局部特征和全局表示， 其中 中的n等于i； 最后， 通过如下方式生成金字塔定位模 块的最终输出：权　利　要　求　书 1/3 页 2 CN 114549567 A 2接下来三个双重聚焦模块将进一 步处理Cppm和Tppm； 双重聚焦模块旨在帮助网络在解码阶段专注于候选区域， 利用局部和全局 注意力机制 来帮助完成伪装对象边 界的描绘， 它将 前一个模块输出的局部特征Ch、 全局表示E以及来自 编码器的当前级别局部特征Ccenc作为输入， 其中， 全局表示E包含N  patch token  embeddin gs Ep和1segmentation  token embeddin gs es； 首先对更高级别的局部特征Ch和 全局表示E进行通道聚焦， 通过以下 方式生成通道聚焦所需的联合向量： Vjoint＝[Vc,Vt]c, 其中， Vc和Vt分别是从Ch和Ep生成的焦点向量； 然后分别获得局部特征和全局表示的通 道注意力向量， 并使用这两个向量 来增强这两种类型的特 征： Tcf＝[es,E′p]e, 其中， S是激活函数； 和 是分别用于增强Ccombined和Ep的向量； Ccf和Tcf分别是 通道聚焦的局部特 征和全局表示； 然后进一 步对Ccf和Tcf进行空间聚焦， 获得空间焦点图： Mc＝ ψ7(Ch), 其中， 是一个token到图的生成器； Mc和Mt分别是从Ch和E生成的焦点图； Γ是一个线性 投影， 它通过一个全连接层将每个全局表示的维数减少到1； d表示一个全局表示的长度； 和 表示由三个全连接层实现的三个 可学习的线性嵌入 函数； 然后进一步增强Ccf和 Tcf： 权　利　要　求　书 2/3 页 3 CN 114549567 A 3