(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211157830.6 (22)申请日 2022.09.22 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 冯伟　孟繁博　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 程毓英 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图卷积的多视角骨架序列融合方 法 (57)摘要 本发明涉及一种基于图卷积的多视角骨架 序列融合方法， 包括以下步骤： 进行数据增强， 调 整为多视角骨架序列， 作为多分支网络的输入； 在每个分支使用时空图卷积网络提取每个视角 的时域图集成特征， 从人体骨架上提取部分端点 和连接点作为关节点， 在空间维分割， 得到获得 每个关节 点的时域图集成表示； 结合人体的天然 拓扑关系、 视角间关节点的对应关系以及关节点 在集成空间的图集成特征构造多视角融合图； 根 据多视角融合图进行图卷积， 融合特征， 获得多 视角融合的图集成特 征； 多分支联合预测。 权利要求书2页 说明书7页 附图3页 CN 115497164 A 2022.12.20 CN 115497164 A 1.一种基于图卷积的多视角骨架序列融合方法， 包括以下步骤： 步骤一， 进行 数据增强， 调整为多视角骨架序列， 作为多分支网络的输入； (1)将单个动作序列在所有视角下的骨架序列组合成多视角骨架序列； (2)将得到的多视角骨架序列在视角级 进行重排列； (3)将经过视角级重排列的多视角骨架序列的作为多分支网络的输入， 每个分支都在 不同时间接受样本的所有视角。 步骤二， 在每个分支使用时空图卷积网络提取每个视角的时域图集成特征X1,X2,..., Xn； (1)为每个分支选取 具有相同结构的时空图卷积网络； (2)在每个分支使用选定的时空图卷积网络提取输入视角的时域图集成特征X， 方法 为： 在每个分支使用选定的时空图卷积网络输入经过视角级重排列的多视角骨架序列 其中c1为骨架序列的通道数， t为骨架序列的帧数即时间维， v为骨架序列的关 节点数即空间维； 在保留空间维度的基础上对时间维取平均， 提取每个视角的时域图集成 特征X1,X2,...,Xn， 构成整个序列的时域图集成特征 其中c2为时域图集成特征X 的通道数； (3)从人体骨架上提取部分端点和连接点作为关节点， 在空间维分割， 得到获得每个关 节点的时域图集成表示； 步骤三， 结合人体的天然拓扑关系、 视角间关节点的对应关系以及关节点在集成空间 的图集成特 征构造多视角融合图M； (1)关节点间的连接即人体天然的拓扑关系； 结合人体天然的拓扑关系和视角间关节 点的对应关系构造邻接矩阵A； (2)对邻接矩阵A进行拉普拉斯变换 得到天然连接图N； (3)根据提取到的每 个关节点的图集成表示构造对应相似度图R； (4)天然连接图N和相似度图R均以邻接矩阵的形式存储， 矩阵元素值代表节点间连接 的强度， 将天然连接图N和相似度图R分别进行矩阵级归一化， 之后将对应位置的元素加权 求和， 将天然连接图N和相似度图R加权融合得到多视角融合图M； 步骤四， 根据多视角融合图M进行图卷积， 融合特征X1,X2,…,Xn获得多视角融合的图集 成特征Xn+1， 方法如下： (1)将提取到的每个视角的时域图集成特征X1,X2,...,Xn在空间维度 拼接， 构造包含全 部视角下关节点的特 征向量Xn+1； (2)将包含全部视角下关节点的特征向量Xn+1和图M输入图卷积网络进行进行空间 ‑视 角图卷积， 得到多视角融合的图集成特 征Yn+1； 步骤五， 多分支联合预测， 方法如下： 将所得到的多视角融合的 图集成特征Yn+1和所提取到的每个视角的时域图集成特征X1, X2,...,Xn分别进行空 间维度的全局平均池化， 而后输入相互独 立的n+1个全连接层， 得到分 类的初步预测 其中clas s为样本的类别数； (2)利用sigmo id函数将得到的分类的初步预测的数据元 素映射到(0,1)之间； (3)对映射后的分类的初步预测取最大值的方式进行决策层融合， 作为最终的预测结权　利　要　求　书 1/2 页 2 CN 115497164 A 2果； 步骤六， 若 端到端的网络 框架对应的损失函数 未收敛， 则重复迭代步骤二至步骤五。 2.根据权利要求1所述的多视角骨架序列融合方法， 其特征在于， 端到端的网络框架对 应的损失函数 具体为： (1)利用交叉熵损失函数来约束每个分支预测结果和真实值的差异， 将其作为每个分 支的损失函数； (2)每个分支的训练样本相同， 因此常用的自动加权损失函数并不适用； 将每个分支预 测方差的倒数作为分支损失函数的权 重； (3)网络整体的损失函数即为各分支损失函数的带权和。权　利　要　求　书 2/2 页 3 CN 115497164 A 3