(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211454183.5 (22)申请日 2022.11.21 (71)申请人 北京数字绿土科技股份有限公司 地址 100193 北京市海淀区东北旺北京中 关村软件园孵化器2号楼三层2301- 2308室 申请人 武汉绿土图景 科技有限公司 (72)发明人 袁新星　刘世宇　张衡　 其他发明人请求 不公开姓名　 (74)专利代理 机构 北京绘聚高科知识产权代理 事务所(普通 合伙) 11832 专利代理师 张春慧 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 20/64(2022.01) G06V 10/44(2022.01) G01S 17/86(2020.01) (54)发明名称 一种结合视频相机和激光雷达的入侵物监 测方法和系统 (57)摘要 本发明公开一种结合视频相机和激光雷达 的入侵物监测方法和系统， 其中， 结合视频相机 和激光雷达的入侵物监测方法包括： 控制视频相 机实时获取被监测场景的视频图像； 根据预设图 像检测入侵算法， 检测视频图像中被监测场景的 特征变化； 根据被监测场景的特征变化， 判断被 监测场景是否存在入侵物； 当判定被监测场景中 存在入侵物时， 根据入侵物在视频图像的坐标位 置， 启动激光雷达实时扫描入侵物， 提取得到被 监测场景中入侵物的三维点云； 根据入侵物的三 维点云， 实时追踪监测入侵物。 本发明的技术方 案能解决现有技术中相机传感器不能依靠单个 相机获取入侵目标的三维位置信息， 不能对目标 物准确定位的问题。 权利要求书3页 说明书11页 附图9页 CN 115512281 A 2022.12.23 CN 115512281 A 1.一种结合视频相机和激光雷达的入侵物监测方法， 其特 征在于， 包括： 控制视频相机实时获取被监测场景的视频图像； 根据预设图像 检测入侵算法， 检测所述视频图像中被监测场景的特 征变化； 根据所述被监测场景的特 征变化， 判断所述被监测场景 是否存在入侵物； 当判定所述被监测场景中存在入侵物时， 根据所述入侵物在所述视频图像的坐标位 置， 启动激光雷达实时扫描所述入侵物， 提取 得到所述被监测场景中入侵物的三维点云； 根据所述入侵物的三维点云， 实时追踪监测所述入侵物。 2.根据权利要求1所述的入侵物监测方法， 其特征在于， 所述根据 所述入侵物的三维点 云， 实时追踪监测所述入侵物的步骤， 包括： 使用所述入侵物的三维点云计算入侵物的三维坐标； 使用所述入侵物的三维坐标与所述被监测场景中目标保护物的三维坐标， 计算所述入 侵物与目标保护物的空间距离； 判断所述入侵物与目标保护物的空间距离是否小于或等于预设报警距离； 若所述空间距离小于或等于预设报警距离， 则对所述入侵物进行报警； 以及， 使用所述入侵物的三维坐标， 判断所述入侵物是否 离开所述被监测场景； 若所述入侵物离开所述被监测场景， 则关闭所述激光雷达 。 3.根据权利要求1所述的入侵物监测方法， 其特征在于， 所述根据 预设图像检测入侵算 法， 检测所述视频图像中被监测场景的特 征变化的步骤， 包括： 计算所述视频图像中当前帧图像与前一帧图像的像素差值， 得到 差分图像； 根据所述差分图像中像素差值与预设差值阈值的大小关系， 构建二 值图像； 对所述二值图像依次进行图像腐蚀和图像膨胀， 得到图像膨胀后的二 值图像； 从所述图像膨胀后的二 值图像中提取轮廓线， 得到特 征变化区域； 根据所述变化区域中的像素 数量过滤所述变化区域， 得到有效变化区域； 提取所述有效变化区域的边界， 得到所述入侵物的包围盒坐标 范围。 4.根据权利要求3所述的入侵物监测方法， 其特征在于， 所述根据 所述入侵物在所述视 频图像的坐标位置， 启动激光雷达实时扫描所述入侵物， 提取得到所述被监测场景中入侵 物的三维点云的步骤， 包括： 启动所述激光雷达扫描所述被监测场景， 得到所述被监测场景的三维点云； 根据所述入侵物的包围盒坐标范围， 按照预标定参数从所述被监测场景的三维点云中 提取对应的点云坐标 范围； 提取所述点云坐标 范围内的三维点云； 使用前一帧点云图像对所述点云坐标范围内的三维点云进行坐标变化检测， 得到坐标 发生变化的点云集 合。 5.根据权利要求4所述的入侵物监测方法， 其特征在于， 所述使用前一帧点云图像对所 述点云坐标范围内的三维点云进行坐标变化检测， 得到坐标发生变化的点云集合的步骤， 包括： 分别从所述 点云坐标 范围内选取每一 三维点， 作为第一中心三维点； 计算所述前一帧图像中所述第一中心三维点与最近点的点间距； 判断所述第一中心三维点与所述 最近点的点间距是否大于第一预设间距；权　利　要　求　书 1/3 页 2 CN 115512281 A 2若所述点间距大于第一预设间距， 则将所述第一中心三维点添加至点云集 合； 判断所述 点云集合中三维点的数量是否大于或等于预设点数阈值； 若所述三维点的数量大于或等于预设点数阈值， 则将所述点云集合作为坐标发生变化 的点云集 合。 6.根据权利要求5所述的入侵物监测方法， 其特征在于， 在得到坐标发生变化的点云集 合的步骤后， 所述方法还 包括： 将所述坐标发生变化的点云集 合存入完整点云集 合中； 从所述完整点云集 合中选取三维点， 作为第二中心三维点； 从所述被监测场景的三维点云中搜索、 与 所述第二中心三维点的间距小于或等于第 二 预设间距， 且不在所述完整点云集 合的所有三维点； 将搜索到的所有三维点存 入所述完整点云集 合； 对所述完整点云集合中的所有三维点执行上述步骤， 将得到的所述完整点云集合作为 所述被监测场景中入侵物的三维点云。 7.根据权利要求1所述的入侵物监测方法， 其特征在于， 在所述提取得到所述被监测场 景中入侵物的三维点云的步骤之后， 所述方法还 包括： 对于所述入侵物的三维点云中每一三维点， 分别使用标定参数计算视频图像的图像坐 标系下的像素坐标和像素值； 使用所述像素值对所述 三维点进行 赋色。 8.一种结合视频相机和激光雷达的入侵物监测系统， 其特 征在于， 包括： 图像获取模块， 用于控制视频相机实时获取被监测场景的视频图像； 特征检测模块， 用于根据预设图像检测入侵算法， 检测所述视频图像中被监测场景的 特征变化； 入侵物判断模块， 用于根据所述被监测场景的特征变化， 判断所述被监测场景是否存 在入侵物； 入侵物扫描模块， 用于当所述入侵物判断模块判定所述被监测场景中存在入侵物时， 根据所述入侵物在所述视频图像的坐标位置， 启动激光雷达实时扫描所述入侵物； 点云提取模块， 用于提取 得到所述被监测场景中入侵物的三维点云； 入侵物追踪模块， 用于根据所述入侵物的三维点云， 实时追踪监测所述入侵物。 9.根据权利要求8所述的入侵物监测系统， 其特 征在于， 所述特 征检测模块， 包括： 像素差值计算子模块， 用于计算所述视频图像中当前帧图像与前一帧图像的像素差 值， 得到差分图像； 二值图像构建子模块， 用于根据所述差分图像中像素差值与预设差值阈值的大小关 系， 构建二 值图像； 二值图像处理子模块， 用于对所述二值图像依次进行图像腐蚀和图像膨胀， 得到 图像 膨胀后的二 值图像； 轮廓线提取子模块， 用于从所述图像膨胀后的二值图像中提取轮廓线， 得到特征变化 区域； 变化区域过滤子模块， 用于根据所述变化区域中的像素数量过滤所述变化区域， 得到 有效变化区域；权　利　要　求　书 2/3 页 3 CN 115512281 A 3