(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210608011.2 (22)申请日 2022.05.31 (71)申请人 南京工业大 学 地址 211899 江苏省南京市江北新区浦珠 南路30号 (72)发明人 唐桂忠　邓世超　 (74)专利代理 机构 南京科阔知识产权代理事务 所(普通合伙) 3240 0 专利代理师 苏兴建 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 20/40(2022.01) (54)发明名称 基于Gated Tran sformer网络的野 生哺乳动 物行为识别方法 (57)摘要 一种基于Gated  Transformer网络的野 生哺 乳动物行为识别方法， 首先建立哺乳类野生动物 行为识别模 型， 再用该识别模型对输入的视频片 段连续帧进行处理， 并识别野生哺乳动物的不同 行为， 最后输出。 所述识别模型是基于Gated   Transformer网络识别模型； 所述识别方法先使 用基于轮廓的方法DeepSnake来检测图像中的动 物轮廓作为空间特征， 然后通过提取连续帧间的 关节坐标的波动来区分野生哺乳动物在时序空 间中不同行为的多样性， 有助于表征不同行为的 关节点运动的差异。 最后， 将时间特征和空间特 征融合到Gated  Transformer网络中， 用于野生 哺乳动物的动作识别。 权利要求书2页 说明书6页 附图1页 CN 115035594 A 2022.09.09 CN 115035594 A 1.一种基于Gated  Transformer网络的野生哺乳动物行为识别方法， 首先建立哺乳类 野生动物行为识别模型， 再用该识别模型对输入的视频片段连续帧进行处理， 并识别野生 哺乳动物的不同行为， 最后输出， 其特 征是 所述识别模型 是基于Gated  Transformer网络识别模型； 所述识别方法的步骤 包括： 1)标记一个视频片段连续帧的野生哺乳动物关节点坐标， 作为网络识别模型的时序 特 征输入； 2)提取野生哺乳动物身体的轮廓， 并计算轮廓的周长、 面积、 圆形度、 矩形度和周径比 作为网络识别模型的空间特 征输入； 3)将步骤1)和2)提取的时序特征和空间特征分别输入到识别网络模型， 识别 野生哺乳 动物的不同行为； 所述步骤3)中： 3.1)将步骤1)标记的野生 哺乳动物关节点坐标作为Gated  Transformer网络的时序分 支Step‑wise Transformer的输入； 3.2)利用时序分支Step ‑wise Transformer 的Embedding层和多头自注意力(Multi ‑ Head Attention)层提取野生哺乳动物关节点时序拓扑的特 征； 3.3)将Positional  Embedding层提取的特征堆叠到时序分支St ep‑wise Transformer 的多头自注 意力(Multi ‑Head Attention)的输入层， 用于对步骤3.2)提取的野生哺乳动物 关节点时序拓扑 特征进行增强， 以便更好 地区分不同行为的时序拓扑的差异； 3.4)将步骤2)得到的野生哺乳动物身体部分轮廓的周长、 面积、 圆形度、 矩形度和周径 比作为Gated  Transformer网络的空间分支C hannel‑wise Transformer的输入； 3.5)利用空间分支Channel ‑wise Transformer的多头自注意力(Multi ‑Head  Attention)捕捉跨所有时间步长的不同通道的潜在的野生哺乳动物空间特征相关性,用于 表达不同行为的轮廓特 征差异； 3.6)采用Gat e卷积层融合St ep‑wise Transformer分支和Channel ‑wise Transformer 分支提取的野生哺乳动物时空特 征； 3.7)用Softmax层将通过Linear层展平的特征向量分类为奔跑、 行走、 坐卧和站立四种 行为。 2.根据权利要求1所述的基于Gated  Transformer网络的野生哺乳动物行为识别方法， 其特征是所述步骤1)中， 采用DeepLabCut软件标记 一个视频片段连续帧的野生哺乳动物关 节点坐标， 步骤 包括： 1.1)对于采集到的动物视频进行分帧处 理； 1.2)使用DeepLabCut软件手动标记一个视频的起始少数几帧中的动物图像身体部位 的关节点 位置； 1.3)使用Ren ‑net101迭代训练， 预测所有动物身体部位的关节点 位置。 3.根据权利要求1所述的基于Gated  Transformer网络的野生哺乳动物行为识别方法， 其特征是所述步骤2)中， 利用DeepSnake卷积网络提取野生哺乳动物身体的轮廓， 步骤包 括： 2.1)以卷积网络FCOS作为DeepSnake卷积网络的检测器Decector， 提取野生哺乳动物权　利　要　求　书 1/2 页 2 CN 115035594 A 2身体部位的初始 矩形轮廓， 将初始 矩形轮廓作为De epSnake卷积网络的输入； 2.2)采用DeepSnake卷积网络对初始轮廓进行多次逼近， 生成紧紧包围野生哺乳动物 身体部分的轮廓； 2.3)计算野生哺乳动物身体部分的轮廓的周长、 面积、 圆形度、 矩形度和周径比。 具体来说： 所述 步骤2.2)的步骤 包括： 2.2.1)搜集包含奔跑、 行走、 坐 卧和站立四种行为的野生哺乳动物的图像， 并对图像进 行标记， 制作轮廓检测所需的数据集； 2.2.2)训练DeepSnake模型的检测器(Detector)， 生成野生哺乳动物目标的初始矩形 定位标记框； 2.2.3)取初始 矩形标记定位框的每 个边的中点， 连接4个中点， 生成菱形框； 2.2.4)将该菱形输入De epSnake模型， 输出 预测的野生动物身体部分的4个极值 点； 2.2.5)以预测出的极点作为中心在所在边方向延伸至1/4的所在边长度， 得到八边形 轮廓； 2.2.6)从八边形轮廓的极值点处均匀采样N个点， 再次输入DeepSnake模型， 输出为每 个顶点到目标边界点的N个偏移量， 通过将偏移 量添加到其顶点坐标来使轮廓变形， 变形后 的轮廓作为下一次的迭代， 直到获得最终轮廓分割图。 4.根据权利要求1所述的基于Gated  Transformer网络的野生哺乳动物行为识别方法， 其特征是所述步骤3.3)的步骤 包括： 3.3.1)考虑到野生哺乳动物行为识别的关节点拓扑数据和轮廓数据是非线性的， 因 此， Embed ding层采用全连接层， 并采用非线性激活函数tanh； 3.3.2)为了能够提取野生哺乳动物不同行为关节点拓扑数据和轮廓数据在Gated   Transformer网络的不同通道的特征的潜在相关性， Multi ‑Head Attention层使用带掩码 的自我注意力来关注所有通道中的每个点， 并采用多尺度点积注意力机制获取多头自注意 力矩阵； 3.3.3)Positi on‑wise全连接前馈层堆叠在每 个多头注意层上， 用于增强特 征提取。 5.根据权利要求1所述的基于Gated  Transformer网络的野生哺乳动物行为识别方法， 其特征是所述步骤3.6)的步骤 包括： 3.6.1)Gate卷积层的作用是融合Channel ‑wise Transformer分支提取的野生哺乳动 物的轮廓特征和Step ‑wise Transformer分支提取的关节点时序拓扑特征， 采用Gating选 通机制来学习每 个Transformer分支的权 重； 3.6.2)每个Gating选通权重参与Transformer分支的输出， Linear层通过线性映射将 融合后的特 征展平成一个特 征向量。权　利　要　求　书 2/2 页 3 CN 115035594 A 3