(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210236706.2 (22)申请日 2022.03.10 (71)申请人 西南交通大 学 地址 611756 四川省成 都市金牛区二环路 北一段111号 (72)发明人 李威　吴晓　杨添朝　张基　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 黎飞 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于残差聚合图网络的群体活动识别 方法及系统 (57)摘要 本发明涉及涉及数据识别技术领域， 尤其涉 及智能视频图像 分析技术领域， 公开了一种基于 残差聚合图网络的群体活动识别方法及系统， 该 方法包括以下步骤： S1， 外观特征提取； S2， 双分 支推理； S3， 加权融合； S4， 群体活动预测。 本发明 解决了现有技术存在的难以有效区别拥有相似 的个体动作而群体活动类别却不相同的视频片 段、 缺乏对不同语义特 征的重要性筛 选等问题。 权利要求书3页 说明书9页 附图3页 CN 114863356 A 2022.08.05 CN 114863356 A 1.一种基于残差聚合图网络的群 体活动识别方法， 其特 征在于， 包括以下步骤： S1， 外观特征提取： 利用给定的视频片段的关键帧和相应每个个体的边界框， 得到待识 别群体的个体级的外观特征X， xi∈RD， 其中， T表示视频片段关键帧的帧数， N表 示视频片段中每个关键帧的个体数； i表示视频片段关键帧中个体的编号， i＝1， 2， …， T× N； xi表示视频片 段中编号为i的个体的外观特征， R表示实数域上的一个线性空间， D表示线 性空间R的外观特 征维度； S2， 双分支推理： 将外观特征进行基于残差聚合的差异关系推理得到差异特征 以及， 将外观特 征分别进行基于图神经网络的相似关系推理得到关系特 征X′； S3， 加权融合： 将外观特征、 差异特征、 关系特征在通道方向进行加权融合， 得到加权特 征 S4， 群体活动预测： 将加权特征进行池化操作， 得到代表整个视频片段的全局表示， 然 后进一步处理得到每一帧对于群体活动类别的置信度， 用每一帧各类别置信度的平均值来 对群体活动类别进行 预测。 2.根据权利要求1所述的一种基于残差聚合图网络的群体活动识别方法， 其特征在于， 步骤S2中， 将外观特 征进行基于残差聚合的差异关系推理得到 差异特征的公式为： 其中， j表示视频片 段中个体的编号， j＝1， 2， …， T×N； 表示第j个个体的差异特征， 是差异特征 的一个元素， ri(xj)表示个体j和个体i之间的残差关 系， 表示个体j和个体i之间的空间位置相关性， xj‑xi表示不同时空中的个体j和 个体i之间的外观特 征差异。 3.根据权利要求2所述的一种基于残差聚合图网络的群体活动识别方法， 其特征在于， ri(xj)的计算公式为： 其中， wj表示将以个体j为中心的两个体之间的外观差异映射为标量 的权重、 bj表示将 以个体j为中心的两个 体之间的外观差异映射的标量进行偏移的偏置值， wj∈RD， bj∈R1。 4.根据权利要求3所述的一种基于残差聚合图网络的群体活动识别方法， 其特征在于， 的计算公式为： 其中， Π(·)表示指示函数， 表示个体j与个体i 之间的欧式距离， μ表示空间限 制因子。 5.根据权利要求1所述的一种基于残差聚合图网络的群体活动识别方法， 其特征在于， 步骤S2中， 将外观特 征分别进行基于图神经网络的相似关系推理得到关系特 征的公式为：权　利　要　求　书 1/3 页 2 CN 114863356 A 2其中， g表示关系图的编号， Ng表示关系图的数量， ReLU()表示ReLU激活函数， Gg表示编 号为g的关系图， Wg表示对应于编号 为g的关系图的进行线性变换的权 重矩阵。 6.根据权利要求5所述的一种基于残差聚合图网络的群体活动识别方法， 其特征在于， Gg的计算公式为： Gg＝{Gi， j∈R1|i， j＝1， . ..， T×N}， 其中， Gi， j表示个体i与 个体j之间的相似关系大小， fa(xi， xj)表示个体i与 个体j之间外 观相关性。 7.根据权利要求6所述的一种基于残差聚合图网络的群体活动识别方法， 其特征在于， fa(xi， xj)的计算公式为： 其中， θ(xi)表示将个体i的外观特征xi由D维嵌入 维空间的线性变换， 表示将个 体j的外观特征xj由D维嵌入 维空间的线性变换， Tanspose()表示转置操作， dk表示规范因 子。 8.根据权利要求7所述的一种基于残差聚合图网络的群体活动识别方法， 其特征在于， 步骤S3包括以下步骤， S31， 将外观特 征、 差异特 征、 关系特 征的元素相加得到整合后的特 征， 计算方式为： 其中， F表示整合后的特征， F∈RT×N×D， b为分支编号； Nb表示分支数目， 以上公式中Nb为 3， Xi表示外观特 征、 差异特 征或关系特 征， 分别表示 不同语义特 征X、 和X′； S32， 在通道方向使用全局平均池化和全连接层来嵌入全局信息， 以生成通道统计信 息， 计算方式为： 其中， S表示通道统计信息， WS表示可学习的用于将 池化后的特征进行线 性变换的参数， F(n， t， ： )表示F中第t帧第n个 个体在通道方向上的特 征。 S33， 通过全连接层和softmax操作得到通道方向上不同分支特 征的权重， 计算方式为： Wb＝softmax(wbS)； 其中， Wb为分支为b的特征的权重向量， wb为对于分支b的将通道统计信息S映射为权重权　利　要　求　书 2/3 页 3 CN 114863356 A 3