(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210928291.5 (22)申请日 2022.08.03 (71)申请人 恒瑞通 （福建） 信息技 术有限公司 地址 350000 福建省福州市晋安区新店镇 厦坊路18号(现磐石路18号)1#楼 三层 东区 (72)发明人 张美跃　周业　 (74)专利代理 机构 北京易捷胜知识产权代理有 限公司 1 1613 专利代理师 林振杰 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于农事场景的行为分析方法及服务 器 (57)摘要 本发明提供的一种基于农事场景的行为分 析方法及服务器， 通过构建农具的目标监测模 型， 根据各类农具信息进行训练， 得到训练好的 农具监测模型； 获取视频数据， 利用行为识别模 型对所述视频数据中人体姿态进行分析， 得到所 有人体的关节 点坐标特征矩阵； 通过训练好的农 具监测模型对 所述视频数据进行识别， 得到识别 结果； 根据所述所有人体的关节 点坐标特征矩阵 和识别结果进行农事行为分析， 将农事 行为中特 殊的农具作为目标特征引入行为识别网络中， 构 建更丰富的行为特征， 来提高农事 行为识别的准 确度。 权利要求书2页 说明书5页 附图1页 CN 115294651 A 2022.11.04 CN 115294651 A 1.一种基于农事场景的行为分析 方法， 其特 征在于， 包括 步骤： S1、 构建农具的目标监测模型， 根据各类农具信息进行训练， 得到训练好的农具监测模 型； S2、 获取视频数据， 利用行为识别 模型对所述视频数据中人体姿态进行分析， 得到所有 人体的关节点 坐标特征矩阵； S3、 通过训练好的农具监测模型对所述视频 数据进行识别， 得到识别结果； S4、 根据所述所有人体的关节点 坐标特征矩阵和识别结果进行农事行为分析。 2.根据权利要求1所述的基于农事场景的行为分析 方法， 其特 征在于， 步骤S1具体为： S11、 构建农具的目标监测模型， 根据各类农具信息使用YOLOv3进行训练， 得到训练好 的农具监测模型； S12、 将训练好的农具监测模型嵌入到服 务器。 3.根据权利要求1所述的基于农事场景的行为分析方法， 其特征在于， 步骤S1之前还包 括： S01、 根据地形和摄 像头覆盖范围， 搭建多路监控摄 像头； S02、 构建行 人的目标监测模型， 使用YOLOv3进行训练， 得到训练好的行 人监测模型； S03、 将训练好的行人监测模型嵌入到每路监控摄像头中， 以使得每路摄像头在边缘段 对行人进行目标检测， 并将检测结果传输 到服务器。 4.根据权利要求1所述的基于农事场景的行为分析 方法， 其特 征在于， 步骤S2具体为： 获取视频数据， 利用OpenPose模型对所述视频数据中人体姿态进行分析， 得到当前数 据帧中所有人体的关节点 坐标特征矩阵。 5.根据权利要求1所述的基于农事场景的行为分析方法， 其特征在于， 所述关节点坐标 特征矩阵包括人 数、 骨骼点数量、 每 个骨骼点在图像中X轴和Y轴的位置以及置信分值。 6.根据权利要求1所述的基于农事场景的行为分析方法， 其特征在于， 所述识别结果包 括农具的分类和位置信息特 征矩阵； 所述位置信息特征矩阵包括农具的个数、 每个农具的类别、 图像区域左上角点的x、 y轴 的位置、 图像区域右下角点的x、 y轴的位置以及置信分值。 7.根据权利要求1所述的基于农事场景的行为分析 方法， 其特 征在于， 步骤S4具体为： S41、 计算人体和农具的关联度A(p)(k)， 得到相应 的关联度集合， 并通过匈牙利算法， 得到最终人体与农具的分组； S42、 将分组后的人体特征和农具特征进行融合后， 通过ST ‑GCN网络的ST ‑GCN单元中进 行农事行为分析， 生成动作时间、 动作地 点和动作类别， 形成分析日志； 其中A(p)(k)表示第p个人和第k个农具的关联性， 值为第p个人所有关节点的坐标和农 具的中坐标的欧几里 得距离的和。 8.根据权利要求3所述的基于农事场景的行为分析 方法， 其特 征在于， 还 包括步骤： 多路监控摄像头采集的视频流数据实时传输到服务器中进行存储， 存储有两个流向， 其中一路作为回看数据存 储到硬盘中， 另外一路作为待分析的数据存 储在内存中。 9.一种基于农事场景的行为分析服务器， 包括存储器、 处理器及存储在存储器上并可 在处理器上运行的计算机程序， 其特 征在于， 所述处 理器执行所述程序时实现以下步骤： S1、 构建农具的目标监测模型， 根据各类农具信息进行训练， 得到训练好的农具监测模权　利　要　求　书 1/2 页 2 CN 115294651 A 2型； S2、 获取视频数据， 利用行为识别 模型对所述视频数据中人体姿态进行分析， 得到所有 人体的关节点 坐标特征矩阵； S3、 通过训练好的农具监测模型对所述视频 数据进行识别， 得到识别结果； S4、 根据所述所有人体的关节点 坐标特征矩阵和识别结果进行农事行为分析。 10.根据权利要求1所述的基于农事场景的行为分析服务器， 其特征在于， 步骤S4具体 为： S41、 计算人体和农具的关联度A(p)(k)， 得到相应 的关联度集合， 并通过匈牙利算法， 得到最终人体与农具的分组； S42、 将分组后的人体特征和农具特征进行融合后， 通过ST ‑GCN网络的ST ‑GCN单元中进 行农事行为分析， 生成动作时间、 动作地 点和动作类别， 形成分析日志； 其中A(p)(k)表示第p个人和第k个农具的关联性， 值为第p个人所有关节点的坐标和农 具的中坐标的欧几里 得距离的和。权　利　要　求　书 2/2 页 3 CN 115294651 A 3