(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210518941.9 (22)申请日 2022.05.13 (71)申请人 河海大学 地址 211100 江苏省南京市江宁区佛城西 路8号 (72)发明人 仲军　陈武略　孙志远　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于神经检测网络的识别定位方法及 系统 (57)摘要 本发明公开了一种基于神经检测网络的识 别定位方法及系统， 属于工件识别定位技术领 域， 包括： 获取包含目标的图像； 将所述图像输入 到训练好的神经检测网络中， 得到目标识别结果 及预测框； 从预测框中将目标区域从所述图像中 截取出来， 对目标区域进行预处理得到预处理区 域， 对预处理区域进行边缘提取得到目标框架， 对目标框架进行特征点提取得到特征点的位置 信息； 通过特征点的位置信息计算特征点的世界 坐标后转化为目标的坐标， 完成定位； 提高目标 检测的鲁棒 性， 提高目标识别和定位的效率。 权利要求书2页 说明书6页 附图2页 CN 114972948 A 2022.08.30 CN 114972948 A 1.一种基于神经检测网络的识别定位方法， 其特 征在于， 包括： 获取包含目标的图像； 将所述图像输入到训练好的神经检测网络中， 得到目标识别结果及预测框； 从预测框 中将目标区域从所述图像中截取出来， 对目标区域进行预处理得到预处理区 域， 对预处理区域进行边缘提取得到目标框架， 对目标框架进行特征点提取得到特征点的 位置信息； 通过特征点的位置信息计算特 征点的世界坐标后转 化为目标的坐标， 完成定位。 2.根据权利要求1所述的一种基于神经检测网络的识别定位方法， 其特征在于， 所述图 像通过以下 方法得到： 通过双目相机采集目标所在区域， 得到包含目标的图像； 双目相机在采集之前进行过 相机标定和左右图像矫 正， 左右相机在采集图像时的帧数相同， 且在同一时刻进行采集。 3.根据权利要求1所述的一种基于神经检测网络的识别定位方法， 其特征在于， 所述神 经检测网络为YOLOv5s检测网络 。 4.根据权利要求1所述的一种基于神经检测网络的识别定位方法， 其特征在于， 所述神 经检测网络通过以下 方法进行训练： 获取训练数据集； 在pytroch深度学习框架中将训练数据集中的数据输入神经检测网络中， 对神经检测 网络进行多次训练， 直至所有数据全部用完， 完成训练。 5.根据权利要求1所述的一种基于神经检测网络的识别定位方法， 其特征在于， 所述神 经检测网络中的定位损失函数如下： 其中， LCIoU是定位损失， IoU是交并比， ρ2(b,bgt)是检测框到实际边框的中心点距 离， c是 同时包含实际边框和检测框的最小外接矩形 的对角线距离， v为描述实际边框和检测框长 宽比的比例一 致性参数， α 是权 重系数； 其中， 和 分别表示实际边框的长 宽比和检测框的长 宽比。 6.根据权利要求1所述的一种基于神经检测网络的识别定位方法， 其特征在于， 对目标 区域进行预处理得到预处理区域， 包括： 对目标区域进行灰度化和中值滤波以减少图像中 的干扰和噪声。 7.根据权利要求1所述的一种基于神经检测网络的识别定位方法， 其特征在于， 对预处 理区域进行边 缘提取得到目标框架， 包括： 使用Canny边缘滤波算法使预处理区域中的目标与背景分离开， 得到目标轮廓， 对目标 轮廓进行线性拟合得到目标框架。权　利　要　求　书 1/2 页 2 CN 114972948 A 28.根据权利要求1所述的一种基于神经检测网络的识别定位方法， 其特征在于， 对目标 框架进行 特征点提取得到特征点的位置信息， 包括： 提取目标框架的形心点作为特 征点， 并获得 特征点的位置信息 。 9.根据权利要求1所述的一种基于神经检测网络的识别定位方法， 其特征在于， 特征点 的世界坐标通过以下 方法计算得到： 其中， (X， Y， Z)是特征点的世界坐标， (u1， v1)是特征点在左相机成像面上的像素坐标， u2是特征点在右相机成像面上的像素横坐标， f是左右相机的焦距， B是两个传感器的光心 距离， Dist是 特征点在右和左相机成像面上像素横坐标之差 。 10.一种基于神经检测网络的识别定位系统， 其特 征在于， 包括： 图像获取模块： 用于获取包 含目标的图像； 目标识别模块： 用于将所述图像输入到训练好的神经检测网络中， 得到目标识别结果 及预测框； 特征点位置信息提取模块： 用于从预测框中将目标区域从所述图像中截取出来， 对目 标区域进行预处理得到预处理区域， 对预处理区域进行边缘提取得到目标框架， 对目标框 架进行特征点提取得到特征点的位置信息； 定位模块： 用于通过特征点的位置信息计算特征点的世界坐标后转化为目标的坐标， 完成定位。权　利　要　求　书 2/2 页 3 CN 114972948 A 3