(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152789.3 (22)申请日 2022.09.21 (71)申请人 华侨大学 地址 362000 福建省泉州市城华北路269号 (72)发明人 杜吉祥　田煜晨　张洪博　翟传敏　 雷庆　陈雁　 (74)专利代理 机构 厦门智慧呈 睿知识产权代理 事务所(普通 合伙) 35222 专利代理师 王玮婷 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于全局感知与提名关系挖掘的时序动作 定位方法 (57)摘要 本发明实施例提供基于全局感知与提名关 系挖掘的时序动作定位方法， 涉及视频识别技术 领域。 其中， 这种时序动作定位方法， 其包含步骤 S1至步骤S4。 S1、 获取待识别视频。 S2、 根据待识 别视频， 提取视觉 特征。 S3、 将视觉 特征输入预先 训练好的时序提名生成网络模型， 获取时序提 名。 S4、 将时序提名输入预先训练好的时序提名 分类网络模型， 获取定位结果。 定位结果包括动 作类别和动作起止时间。 时序提名生成 网络模型 通过图建模的方式动态捕获特征之间的关联性， 实现动作边界与动作特征之间的信息交互， 达到 全局感知动作、 背景、 边界之间关系的目的。 时序 提名分类网络模 型挖掘提名之间的潜在关系， 实 现更精准 地定位与动作分类 。 权利要求书2页 说明书10页 附图4页 CN 115497022 A 2022.12.20 CN 115497022 A 1.基于全局感知与提名关系挖掘的时序动作定位方法， 其特 征在于， 包 含： 获取待识别视频； 根据所述待识别视频， 提取视 觉特征； 将所述视 觉特征输入预 先训练好的时序提名生成网络模型， 获取时序提名； 将所述时序提名输入预先训练好的时序提名分类网络模型， 获取定位结果； 所述定位 结果包括动作类别和动作起止时间； 所述时序提名生成网络模型， 用于： 根据所述视 觉特征， 获取抽象语义特 征； 根据所述抽象语义特征， 以视频单元特征为节点， 以视频单元特征之间的关系为边进 行图建模， 获取输出 特征流； 根据所述输出特征流， 以边界特征为节点， 以动作特征为边， 构建特征关系图， 并对特 征关系图进 行更新， 获取新的边特征和节点特征， 然后根据新的边特征和新的节点特征， 获 取所述时序提名； 所述时序提名分类网络模型， 用于： 根据所述时序提名， 获取提名特 征； 根据所述 提名特征， 以提名特 征为结点， 以提名之间的关系为 边， 构建提名关系图； 根据所述 提名关系图， 获取 所述定位结果。 2.根据权利要求1所述的基于全局感知与提名关系挖掘的时序动作定位方法， 其特征 在于， 根据所述视 觉特征， 获取抽象语义特 征， 具体包括： 根据所述视 觉特征， 通过卷积， 获取抽象语义特 征； 根据所述抽象语义特征， 以视频单元特征为节点， 以视频单元特征之间的关系为边进 行图建模， 获取输出 特征流， 具体包括： 根据所述抽象语义特 征， 通过时序图卷积， 构建静态边特 征流； 根据所述抽象语义特 征， 通过自注意力模块和图卷积， 构建动态边特 征流； 根据所述抽象语义特征、 所述静态边特征流和所述动态边特征流， 进行融合构建特征 图， 获取所述输出 特征流； 根据所述输出特征流， 以边界特征为节点， 以动作特征为边， 构建特征关系图， 并对特 征关系图进 行更新， 获取新的边特征和节点特征， 然后根据新的边特征和新的节点特征， 获 取所述时序提名， 具体包括： 根据所述输出特征流， 分别通过三个一维卷积操作， 获取动作开始特征Fs、 结束特征Fe 和动作特 征Fa； 根据所述动作开始特征Fs、 结束特征Fe和动作特征Fa， 以动作开始特征Fs和结束特征Fe 为节点， 以动作特 征Fa为边， 构建特 征关系图； 根据所述特 征关系图， 进行 更新， 获取新的边特 征和节点特 征； 根据所述 新的边特 征和节点特 征， 获取所述时序提名。 3.根据权利要求2所述的基于全局感知与提名关系挖掘的时序动作定位方法， 其特征 在于， 根据所述抽象语义特 征， 通过时序图卷积， 构建静态边特 征流， 具体包括： 根据所述抽象语义特征， 分别通过32个分支路径提取静态特征流； 其中， 每个分支路径 包括1个图卷积 操作和两个卷积 操作；权　利　要　求　书 1/2 页 2 CN 115497022 A 2将32个所述静态特 征流以加 和的方式 融合， 构建所述静态边特 征流； 根据所述抽象语义特 征， 通过自注意力模块和图卷积， 构建动态边特 征流， 具体包括： 根据所述抽象语义特 征， 通过自注意力模块， 获取注意力矩阵； 根据所述抽象语义特征， 通过两层一维卷积， 然后以所述注意力矩阵作为邻接矩阵进 行图卷积 操作， 构建所述动态边特 征流。 4.根据权利要求3所述的基于全局感知与提名关系挖掘的时序动作定位方法， 其特征 在于， 所述自注意力模块包括两个一维卷积； 根据所述抽象语义特 征， 通过自注意力模块， 获取注意力矩阵， 具体包括： 根据所述抽象语义特 征， 通过一维卷积， 获取查询Q； 根据所述抽象语义特 征， 通过一维卷积， 获取键值K； 将所述查询Q和所述键值K点乘， 然后用si gmoid激活函数进行激活， 获取所述注意力矩 阵。 5.根据权利要求2所述的基于全局感知与提名关系挖掘的时序动作定位方法， 其特征 在于， 根据所述特 征关系图， 进行 更新， 获取新的边特 征和节点特 征， 具体包括： 根据所述特征关系图， 进行边更新， 获取新的边特征； 边的更新模型为： e ′ij＝σ( θe× (eij*fs,i*fe,j)+eij)， 式中， e ′ij为更新后的边、 σ 为Relu激活函数、 θe为可学习参数、 eij为更 新前的边、 fs,i为第i个时序的特 征表示、 fe,j为第j个时序位置之间的特 征表示； 根据所述特征关系图， 分别对各个节点的边特征进行归一化操作， 然后进行图卷积运 算， 获取新的节点特征； 节点的更新模型为： 式中， 为更新后的节点、 σ 为Relu激活函数、 θn为可学习参数、 I为单位矩阵、 eij表示开始节点ni 和结束节点 nj之间的边。 6.根据权利要求1所述的基于全局感知与提名关系挖掘的时序动作定位方法， 其特征 在于， 根据所述时序提名， 获取提名特 征， 具体包括： 根据所述时序提名， 获取开始区域、 动作区域和结束区域； 采用线性插值的方法分别对三个区域进行均匀采样， 并对采样特征进行一层二维卷积 操作和维度变换， 获取所述提名特征； 其中， 开始区域和结束区域的采样数为4， 动作区域的 采样数为8； 根据所述提名特征， 以提名特征为结点， 以提名之间的关系为边， 构建提名关系图， 具 体包括： 根据所述提名特征， 以提名特征为结点， 以提名之间的关系为边， 在节点和节点的临近 节点之间构建边， 获取 所述提名关系图； 根据所述 提名关系图， 获取 所述定位结果， 具体包括： 根据所述 提名关系图， 通过三层全连接网络， 获取 所述定位结果。 7.根据权利要求1至6任意一项所述的基于全局感知与提名关系挖掘的时序动作定位 方法， 其特 征在于， 根据所述待识别视频， 提取视 觉特征， 具体包括： 根据所述待识别视频， 通过双流网络模型， 获取视 觉特征。权　利　要　求　书 2/2 页 3 CN 115497022 A 3