(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210574993.8 (22)申请日 2022.05.25 (71)申请人 北方民族大 学 地址 750021 宁夏回族自治区银川市西夏 区文昌北街204 号 (72)发明人 白静　白少进　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06F 16/583(2019.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于自适应域增强的三维模型草图检 索方法 (57)摘要 本发明公开了一种基于自适应域增强的三 维模型草图检索方法， 可有效嵌入到现有的跨域 检索框架中， 在特征提取过程中捕获跨域互信息 增强的全局特征， 在域内通过双 线性池化学习增 强局部判别特征， 并且通过对抗学习完成自适应 的特征融合， 使网络自适应地关注全局特征和局 部特征中更具区分性的表示特征， 进一步适应输 入草图的多样性， 提高检索性能。 权利要求书4页 说明书9页 附图5页 CN 114911967 A 2022.08.16 CN 114911967 A 1.一种基于自适应域增强的三维模型草图检索方法， 其特 征在于， 包括以下步骤： S1、 基础网络从草图和三维模型多视 图图像中分别提取出对应域的语义特征， 产生初 始特征向量x1和x2， 其中上标1和2分别表示来自于草图域和三维模型域； 对特征向量x1和x2 进行拼接操作， 获得混合特 征向量xb； S2、 对混合特征向量xb同时进行三个卷积操作， 构造出三个域间嵌入特征空间ψ(xb)、 ξ (xb)、 ζ(xb)； 然后对特征空间ψ(xb)进行平均池化操作， 对特征空间ξ(xb)进行最大池化操 作； 将特征空间ψ(xb)、 ξ(xb)经过池化操作后得到的显著特征进行矩阵计算， 求出混合特征 相关性矩阵B， B表示了域间特 征的相关程度； S3、 将混合特征相关性矩阵B和跨域特征空间ζ(xb)相乘得到的域间相关性特征与混合 特征向量xb相加， 获得细化的混合特 征向量o(xb)， o(xb)表示了跨 域特征间的相关性； S4、 通过全局池 化操作与一个非线 性映射层φ( ·)对细化的混合特征向量o(xb)进行压 缩， 然后通 过激活函 数生成域间增强注意力权重ac， ac表示了跨域特征的域间增强注意力权 重； S5、 将初始特征向量x1和x2通过平均池化操作获得初始特征fg,1和fg,2； 将域间增强注意 力权重ac与初始特征fg,1和fg,2进行点乘， 并通过一层全连接层进行降维压缩， 获得初始判 别特征fa,1和fa,2； S6、 基础网络从草图和三维模型多视 图图像中分别提取出对应域的语义特征， 产生三 个初始特征向量 其中m∈{1,2}表示特征来自于草图域和三维模型域； 然后同时进行三个卷积操作， 构造出三个域内嵌入特征空间 和 使用这三个不同的嵌入特征空间代替单一的特征空间， 使网络更好地动态学习域 内特征之间的相关性； S7、 通过元素乘法集成扩展特征以捕获域内局部特征的交互， 之后通过平均池化操作 高维特征压缩为紧凑 特征Δ1,m、 Δ2,m、 Δ3,m； 并通过线性映射生成域内增强的局部判别性特 征fd,m， 即fd,1和fd,2； S8、 通过构造多层线性映射将 fg,1、 fg,2、 fd,1和fd,2进行对抗学习， 使网络能够根据不同 的输入， 自适应地从全局特 征和局部特征中学习输入图像的判别性表示； S9、 为了与初始判别特征fa,1和fa,2区别表示， 定义经过对抗学习后网络获得的最终判 别特征为 和 在此基础上构建联合损失函数， 减小了跨域特征间的巨大差异性， 提 高了检索性能。 2.根据权利要求1所述的一种基于自适应域增强的三维模型草图检索方法， 其特征在 于： 在步骤S1中， 基础网络是由卷积神经网络构成， 对输入到网络的草图图像和三 维模型多 视图图像进行特征提取， 基础网络将输入图像 提取特征为w ×h×c的特征向量x1和x2， 其中w 代表特征向量的宽度， h代表特征向量的高度， c代表特征向量的通道数； 对特征向量x1和x2 进行Concat拼接操作， 获得混合特 征向量xb， 公式如下： xb＝fconcat(x1,x2)∈Rw×h×2c 式中， R代表一个集 合。 3.根据权利要求1所述的一种基于自适应域增强的三维模型草图检索方法， 其特征在权　利　要　求　书 1/4 页 2 CN 114911967 A 2于： 在步骤S2中， 对特征向量xb进行的三个卷积操作， 均为1 ×1×2c的卷积， 获得三个嵌入 特征空间， 其中， ψ(xb)∈Rw×h×2c， ξ(xb)∈Rw×h×2c和 ζ(xb)∈Rw×h×2c， 式中， R代表一个集合， w代 表特征向量 的宽度， h代表特征向量 的高度， c代表特征向量 的通道数； 对特征空间ψ(xb)进 行平均池化， 对特征空间ξ(xb)进行最大池化， 由此得到两个大小为1 ×2c的全局 特征矩阵 A、 M， 公式如下： 平均池化： A＝favg‑pooling( ψ(xb))∈R1×2c 最大池化： M＝fmax‑pooling( ξ(xb))∈R1×2c 将特征空间ψ(xb)平均池化得到的全局特征矩阵， 与ξ(xb)最大池化得到全局特征 的转 置矩阵做矩阵相乘运算， 最终得到一个2c ×2c大小的特征相关矩阵B， B表示了域间特征的 相关程度， 公式如下： B＝AMT,B∈R2c×2c。 4.根据权利要求1所述的一种基于自适应域增强的三维模型草图检索方法， 其特征在 于： 在步骤S3中， 域 间相关性特征由混合特征相关性矩阵B和跨域特征空间ζ(xb)相乘得到， 再与混合特 征向量xb相加， 得到细化的混合特 征向量o(xb)， 其中o(xb)的公式如下： o(xb)＝θ( ζ(xb)B)+xb,o(xb)∈Rn×2c, θ∈[0,1] 式中， R代表一个集合， c代表特征向量的通道数， n＝h ×w表示特征图的尺寸， w代表特 征向量的宽度， h代表特征向量的高度， θ 是可训练的参数， θ 的作用有两个， 首先， 当θ 是初始 化为0时， 能够使用任何预训练好的模 型且不破坏其最初的网络结构； 其次， 通过学习， 使域 间相关性特 征和混合特 征向量xb的权重能够进行自动调整。 5.根据权利要求1所述的一种基于自适应域增强的三维模型草图检索方法， 其特征在 于： 在步骤S4中， 通过全局池化操作与一个非线性映射层φ( ·)对细化的混合特征向量o (xb)进行压缩， 然后通过Sigmoid函数生成域间增强注意力权重ac， 其中φ(·)的维度为 [2c,c]， c代 表特征向量的通道数， ac公式为下： ac＝fsigmoid[φ(favg‑pooling(o(xb)))],ac∈R1×c 式中， R代表一个集 合。 6.根据权利要求1所述的一种基于自适应域增强的三维模型草图检索方法， 其特征在 于： 在步骤S5 中， 通过平均池化操作作用在初始特征向量x1和x2上获得初始全局特征fg,1和 fg,2， 公式如下： fg,1＝favg‑pooling(x1) fg,2＝favg‑pooling(x2) 将步骤S4中得到的域间增强注意力权重ac与初始特征fg,1和fg,2进行点乘， 并通过一层 全连接层[2c,c]进行降维， c代表特征 向量的通道数， 获得初始判别特征fa,1和fa,2， 公式如 下： fa,1＝ffc(fdot_product(ac,fg,1)) fa,2＝ffc(fdot_product(ac,fg,2)) 式中， ffc代表一个全连接层， fdot_product代表点乘操作。 7.根据权利要求1所述的一种基于自适应域增强的三维模型草图检索方法， 其特征在 于： 在步骤S6中， 从基础网络中分别提取出草图域和三维模型域的整体语义特征， 用 表示， 其中m∈{1,2}表示特征来自于草图域和三维模型域； 分别对草图权　利　要　求　书 2/4 页 3 CN 114911967 A 3