(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210174645.1 (22)申请日 2022.02.24 (65)同一申请的已公布的文献号 申请公布号 CN 114529807 A (43)申请公布日 2022.05.24 (73)专利权人 广东工业大 学 地址 510062 广东省广州市越秀区东 风东 路729号 (72)发明人 鲁仁全　雷群楼　陶杰　 (74)专利代理 机构 佛山市禾才知识产权代理有 限公司 4 4379 专利代理师 刘羽波　陈嘉琦 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/22(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) (56)对比文件 CN 113012212 A,2021.0 6.22 CN 110472585 A,2019.1 1.19 CN 110853100 A,2020.02.28 US 2020074670 A1,2020.0 3.05 KR 10198 8555 B1,2019.0 6.12 蒋林等.一种点线特 征融合的双目同时定位 与地图构建方法. 《科 学技术与工程》 .2020,(第 12期), 曾攀.点面特征融合的室内视 觉定位方法研 究. 《中国优秀硕士学位 论文全文数据库信息科 技辑》 .2022,第1-10 0页. 汪泽睿.基 于改进型词袋模型的回环检测算 法研究. 《中国优秀硕士学位 论文全文数据库信 息科技辑》 .2021,第1-70页. (续) 审查员 杨珺 (54)发明名称 点线面特征融合的回环检测方法、 装置、 设 备和存储介质 (57)摘要 本发明提出点线面特征融合的回环检测方 法、 装置、 设备和存储介质， 其中点线面特征融合 的回环检测方法， 包括： 对大量图片进行训练， 构 建词袋模型， 在回环检测中， 获取当前帧与所有 参考帧在词袋模 型中的综合相似度， 获取第一参 考帧的数量， 获取第一参考帧和当前帧中数量最 多的旋转角度作为图片的旋转角度φi； 对第一 参考帧和当前帧的进行旋转， 获取线特征； 获取 的线特征进入角度过滤器进行过滤； 采用深度图 构建平面参数空间， 对获取得到平面 ‑直线关联 图； 获取综合得分最高的第一参考帧作为成功回 环的帧， 本发明针对室内环境中， 通过点线面等 多种特征， 提高了回环的稳定性以及鲁棒性。 可克服UWB等室内定位系统不稳定的情况。 [转续页] 权利要求书4页 说明书9页 附图2页 CN 114529807 B 2022.08.16 CN 114529807 B (56)对比文件 Zulun Zhu， Shao wu Yang， Huado ng Dai， et.,al..Loop Detecti on and Cor rection of 3D Laser-Based SLAM w ith Visual Informati on. 《CASA 2018 : Proceedings of the 31st I nternati onal Conference o n Computer An imation and Social Agents》.2018,第5 3-58页. Raúl Mur-Artal;J. M. M. Mo ntiel;Juan D. Tardós,et.,al.ORB-SLAM: A Versati le and Accurate Mo nocular SLAM System. 《 IE EE Transacti ons on Robotics》 .2015,第1 147- 1163页.2/2 页 2[接上页] CN 114529807 B1.点线面特 征融合的回环检测方法， 其特 征在于， 包括以下步骤： 步骤S1： 对大量图片进行训练， 获取图片中的角点的BRIEF描述子和线特征LBD描述子， 构建词袋模型， 其中词袋模型包括 点特征词袋模型与线特 征词袋模型； 步骤S2： 在回环检测中， 获取当前帧与所有参考帧在词袋模型中的综合相似度， 获取第 一参考帧的数量， 其中第一参考帧为综合相似度满足相似度阈值的参考帧， 判断第一参考 帧数量是否满足数量阈值， 若满足则执 行步骤S3； 步骤S3： 对第一参考帧和当前帧进行点特征的提取ORB 特征点， 计算每个FAST角点的旋 转角度， 统计旋转角度， 获取 数量最多的旋转角度作为图片的旋转角度φi； 步骤S4： 对第一 参考帧和当前帧进行旋转， 其旋转角度为φi， 获取LBD描述子； 对当前帧和N个第一 参考帧进行线特 征的匹配， 获取线特 征； 获取的线特 征进入角度过 滤器进行 过滤； 步骤S5： 采用深度图构建平面参数空间， 将笛卡尔空间上的点映射到平面参数空间获 取当前帧和N个第一 参考帧的面特 征； 步骤S6： 对面特 征与线特 征进行关联构建， 获取 得到平面 ‑直线关联图； 所述步骤S6 中平面‑直线关联图的关联包括平面及平面之间的边的几何关系和平面及 直线之间的几何关系， 其中关系具体如下： 平面及平面之间的边的几何关系如下： 其中 表示两个平面法向量之间的夹角； 其中ω表示两平面是否平行， 表示i， j两平面法向量之间的夹角， ni表示i平面的法 向量， nj表示j平面的法向量， 表示i， j两平面之 间的距离， di为相机坐标系原点到i平面 的距离， dj为相机坐标系原点到j平面的距离； 平面及直线之间的几何关系如下： 其中 表示直线vi与平面法向量 nj之间的夹角； 其中I表示直线和平面的平行权　利　要　求　书 1/4 页 2 CN 114529807 B 3