(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211395156.5 (22)申请日 2022.11.09 (71)申请人 广东电网有限责任公司珠海供电局 地址 519000 广东省珠海市香洲区红山路 300号1楼-18楼、 20楼、 21楼 (72)发明人 曾啸　陈霖　王强　刘锦湖　 许典鸿　苗浩　徐雪丹　阮贝　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 任文生 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/00(2017.01) G06V 20/52(2022.01) G06V 20/40(2022.01)G06V 10/62(2022.01) G06V 10/82(2022.01) G08B 31/00(2006.01) E02F 9/24(2006.01) (54)发明名称 一种挖掘机运动监测方法、 系统和设备 (57)摘要 本发明公开了一种 挖掘机运动监测方法、 系 统和设备。 本发 明包括按照预设规格划分环境图 像， 得到待互换图像和环状区域图像； 将相邻两 帧环境图像对应的待互换图像进行互换， 结合对 应的环状区域图像构建监测图像对并输入目标 检测网络； 通过目标检测网络提取监测图像对的 挖掘机特征， 并关联全部挖掘机特征， 形成挖掘 机的目标轨迹； 根据目标轨迹预测挖掘机的运行 动作， 对运行动作进行异常判断， 根据判断结果 生成预警信息并输出。 解决了目前的技术难以在 野外及时跟踪挖掘机的运动轨迹， 导致存在操作 人员操作挖掘机时挖断电缆的风险的技术问题。 本发明智能分析检测出挖掘机， 跟踪其运动规 律， 当其靠近、 跨越、 碾压线 缆等危险动作时给出 及时的预警。 权利要求书3页 说明书12页 附图5页 CN 115439511 A 2022.12.06 CN 115439511 A 1.一种挖掘机运动监测方法， 其特 征在于， 包括： 获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像； 按照预设规格划分所述环境图像， 得到待互换图像和环状区域图像； 将相邻两帧环境图像对应的待互换图像进行互换， 结合对应的所述环状区域图像构建 监测图像对并输入目标检测网络； 通过所述目标检测网络提取所述监测图像对的挖掘机特征， 并关联全部所述挖掘机特 征， 形成所述挖掘机的目标轨 迹； 根据所述目标轨迹预测所述挖掘机的运行动作， 对所述运行动作进行异常判断， 根据 判断结果 生成预警信息并输出。 2.根据权利要求1所述的挖掘机运动监测方法， 其特征在于， 所述将相邻 两帧环境图像 对应的待互换图像进 行互换， 结合对应的所述环状区域图像构建监测图像对并输入目标检 测网络的步骤， 包括： 将相邻两帧环境图像对应的待互换图像互换至对应的所述环状区域图像， 得到相邻 两 帧分别对应的初始监测图像； 检测所述待互换图像是否贴合所述环状区域图像的内边框； 若是， 则采用相邻两帧所述初始监测图像构建监测图像对； 若否， 则按照所述待互换图像与所述内边框之间的距离差值调整所述待互换图像后， 采用相邻两帧所述初始监测图像构建监测图像对。 3.根据权利要求1所述的挖掘机运动监测方法， 其特征在于， 所述目标检测网络包括第 一卷积层、 第二卷积层和第一全连接层； 所述通过所述 目标检测网络提取所述监测图像对 的挖掘机特 征， 并关联全部所述挖掘机特 征， 形成所述挖掘机的目标轨 迹的步骤， 包括： 通过所述第 一卷积层将所述监测图像对进行卷积， 生成对应的第 一卷积特征并输入所 述第二卷积层； 通过所述第二卷积层对所述第一卷积特 征进行卷积， 生成多个第二卷积特 征图； 采用全部所述第二卷积特征图进行串联， 生成第 一多维特征图并输入所述第 一全连接 层； 采用全部所述待互换图像对应的第 二卷积特征图进行串联， 生成第 二多维特征图并输 入所述第一全连接层； 通过所述第 一全连接层对所述第 一多维特征图和所述第 二多维特征图进行分类， 得到 所述第一多维特征图对应的图像前景一致性特征和所述第二多维特征图对应的表观相似 性特征； 根据所述表观相似性特征， 判断当前帧环境图像对应的挖掘机的行动轨迹是否属于目 标挖掘机的局部轨迹， 并根据判断结果与所述图像前景一致性特征关联全部局部轨迹， 形 成所述挖掘机的目标轨 迹。 4.根据权利要求3所述的挖掘机运动监测方法， 其特征在于， 所述根据 所述表观相似性 特征， 判断当前帧环境图像对应的挖掘 机的行动轨迹是否属于目标挖掘 机的局部轨迹， 并 根据判断结果与所述图像前景一致性特征关联全部局部轨迹， 形成所述挖掘机的目标轨迹 的步骤， 包括： 根据所述表 观相似性特 征， 判断当前帧环境图像对应的挖掘机是否属于目标挖掘机；权　利　要　求　书 1/3 页 2 CN 115439511 A 2若是， 则将所述挖掘机的行动轨 迹判定为目标挖掘机的局部 轨迹； 根据所述图像前 景一致性特征， 关联全部所述局部 轨迹， 形成所述挖掘机的目标轨 迹； 若否， 则从剩余的帧环境图像中选取一帧环境图像作为当前帧环境图像， 跳转执行所 述根据所述表观相似性特征， 判断当前帧环境图像对应的挖掘机是否属于目标挖掘机的步 骤， 直至不存在剩余的帧环境图像。 5.根据权利要求4所述的挖掘机运动监测方法， 其特征在于， 所述根据 所述图像前景一 致性特征， 关联全部所述局部 轨迹， 形成所述挖掘机的目标轨 迹的步骤， 包括： 将全部所述局部 轨迹映射到判别性投影空间； 根据所述图像前景一致性特征的位置相似性特征、 尺寸相似性特征和颜色表观相似性 特征识别各个所述局部 轨迹； 按照预设排列顺序关联全部所述局部 轨迹， 形成所述挖掘机的目标轨 迹。 6.根据权利要求3所述的挖掘机运动监测方法， 其特 征在于， 还 包括： 按照线性 运动模型推理判断所述目标轨 迹是否形成完整的行动轨 迹； 若是， 则将所述目标轨 迹确定为所述目标挖掘机的行动轨 迹； 若否， 则按照非线性运动模型的轨迹填充策略与 所述表观相似性特征填补所述目标轨 迹的空缺轨迹， 形成新的目标轨迹， 并跳转执行所述按照线性运动模型推理判断所述 目标 轨迹是否形成完整的行动轨 迹的步骤， 直至所述目标轨 迹形成完整的行动轨 迹。 7.根据权利要求3所述的挖掘机运动监测方法， 其特征在于， 所述目标检测网络还包括 第二全连接层和第三全连接层， 还 包括： 采用全部所述第二卷积特 征图进行并行， 生成第三多维特 征图； 将所述第三多维特征图依次输入所述第 二全连接层和所述第 三全连接层， 生成第 一目 标偏移量和第二目标偏移量。 8.根据权利要求2所述的挖掘机运动监测方法， 其特 征在于， 还 包括： 根据预设结构相似性， 比较所述初始监测图像对应的环状区域图像与待互换图像的协 调程度； 若所述协调程度小于目标阈值时， 则按照预设权值调整所述目标检测网络， 并跳转执 行所述将相邻两帧环境图像对应的待互换图像进 行互换， 结合对应的所述环状区域图像构 建监测图像对并输入目标检测网络的步骤， 直至所述协调程度大于或等于所述目标阈值。 9.一种挖掘机运动监测系统， 其特 征在于， 包括： 环境图像模块， 用于获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像； 待互换图像模块， 用于按照预设规格划分所述环境图像， 得到待互换图像和环状区域 图像； 目标检测网络模块， 用于将相邻两帧环境图像对应的待互换图像进行互换， 结合对应 的所述环状区域图像构建监测图像对并输入目标检测网络； 目标轨迹模块， 用于通过所述目标检测网络提取所述监测图像对的挖掘机特征， 并关 联全部所述挖掘机特 征， 形成所述挖掘机的目标轨 迹； 预警信息模块， 用于根据所述目标轨迹预测所述挖掘机的运行动作， 对所述运行动作 进行异常判断， 根据判断结果 生成预警信息并输出。 10.一种电子设备， 其特征在于， 包括存储器及处理器， 所述存储器中储存有计算机程权　利　要　求　书 2/3 页 3 CN 115439511 A 3