(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210426360.2 (22)申请日 2022.04.22 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 袁丁　马浩　王清可　张弘　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 安丽　邓治平 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于RGB-D特征深度融合的抓取位姿检 测方法 (57)摘要 本发明涉及一种基于RGB ‑D特征深度融合的 抓取位姿检测方法， 首先， 使用 深度相机获取任 务场景的RGB彩色图像和深度图像并进行图像预 处理。 其次， 构建端到端的目标检测定位与抓取 姿态预测的卷积神经网络， 将RGB图像与深度图 像以两路输入到构建的卷积神经网络中。 接着， 将RGB‑D特征进行深度融合， 通过基于两步逼近 思想的自适应锚框设置方法， 获得待抓取物的二 维平面抓取位姿表示， 进而可以利用机械臂与相 机的标定信息将抓取位姿映射到三维空间中实 施抓取操作。 本发明能够克服现有方法中机械臂 抓取效率低下、 泛化性能差的问题， 实现端到端 的目标定位与抓取检测， 能够实时、 准确地进行 目标抓取位姿检测， 经实验验证， 具有准确性和 鲁棒性。 权利要求书2页 说明书10页 附图5页 CN 114998573 A 2022.09.02 CN 114998573 A 1.一种基于RGB ‑D特征深度融合的抓取位姿检测方法， 其特 征在于， 包括以下步骤： 第一步， 使用深度相机同时获取任务场景的RGB彩色图像和深度图像即D图像的数据， 并进行预处理； 第二步， 构建基于RGB ‑D特征深度融合的抓取检测网络， 该网络包括四部分： 特征提取 主干网络、 RGB ‑D特征深度融合网络、 目标检测头与抓取检测头； 其中RGB图像和D图像以两 支路输入特征提取主干网络部分进行特征提取， 两支路共享特征提取主干网络， 分别获取 RGB特征与D特征； 第三步， 目标检测头利用RGB特征进行目标分类和定位， 利用定位结果， 基于两步逼近 方法为后续的抓取检测计算自适应锚框； 第四步， 通过RGB ‑D特征深度融合网络将RGB特征与D特征进行融合， 获取深度融合特 征， 并将深度融合特 征输入到抓取检测头中； 第五步， 利用第三步所得的自适应锚框和第 四步所得的深度融合特征， 抓取检测头进 行二维平面的抓取位姿检测， 位姿检测结果可映射到三 维空间得到机械臂对目标的实际抓 取位姿。 2.根据权利要求1所述的基于RGB ‑D特征深度融合的抓取位姿检测方法， 其特征在于， 所述第二步中， RGB图像和D图像以两支路输入特征提取主干网络部分进行特征提取， 两支 路共享特 征提取主干网络， 具体实现如下： RGB图像与D图像以两路输入抓取检测网络， 均通过主干网络部分进行特征提取， 两种 模态的图像通道数不同， RGB图像为3通道， D图像为单通道， 两路 的特征提取过程中仅有各 卷积层输出通道数不同， D图像支路中的各层输出通道数是RGB图像支路中的1/2， 以减少特 征冗余和网络计算 量。 3.根据权利要求1所述的基于RGB ‑D特征深度融合的抓取位姿检测方法， 其特征在于， 所述第三 步中， 基于 两步逼近方法为后续的抓取检测计算自适应锚框， 具体实现如下： 两步逼近方法是指将机械臂抓取检测任务拆分为目标检测问题与抓取位姿检测问题： 第一步进 行目标检测， 对目标的边界框进 行逼近； 第二步进 行抓取检测， 对第一步得到的边 界框进行一定的缩放调整作为抓取检测的锚框， 再对最优抓取框进行逼近， 在利用目标检 测头获得目标的检测框和类别后， 通过对目标的检测框进 行如下式的变换以设定后续抓取 检测的初始锚框： 其中， w与h指目标检测框的宽、 高， wa与ha指锚框的宽、 高， Nt为设定的阈值， α为设定 的 放缩系数； 上述表达式可 具体表述 为如下规则， 进行抓取检测自适应初始锚框的设定： (1)当目标边界框的长度和宽度至少有 一项小于阈值Nt时， 假设其中的较小 值为lmin， 则 将α lmin( α >1)作为锚框的高即h， 此时若另一项同样小于阈值Nt， 则使用相同的系数α 对其进 行缩放作为锚框的宽w， 否则使用固定值 40作为锚框的宽； (2)当目标边界框的长度与宽度均大于阈值Nt时， 采用40 ×40大小的正方形框作为锚权　利　要　求　书 1/2 页 2 CN 114998573 A 2框； (3)对于锚框的角度设定， 规定若目标边界框的高度大于宽度， 则锚框角度为0 °， 否则 为90°。 4.根据权利要求1所述的基于RGB ‑D特征深度融合的抓取位姿检测方法， 其特征在于， 所述第四步中， RGB ‑D特征深度融合网络将RGB特 征与D特征进行融合， 具体实现如下： RGB‑D特征深度融合网络的输入数据 为： 主干网络最后一层输出的RGB 特征与D特征， 其 特征通道数分别为1024、 512， 特征图尺 寸均为7×7； 主干网络倒数第二层输出的RGB特征与 D特征， 其特征通道数分别为512、 25 6， 特征图尺寸均为14 ×14； 在RGB‑D特征深度融合网络中采用 “回流”结构， 将深层特征的融合结果作为低层特征 融合的指导， 进 行多尺度的特征融合， RGB ‑D特征深度融合网络首先将主干网络最后一层输 出的RGB特征与D特征进行通道维拼接， 进 行第一次融合， 获得通道数为1536、 尺 寸为7×7的 特征图； 接着将该特征图通过卷积层和上采样层获得通道数为512、 尺寸为14 ×14的特征 图； 然后再将该特征图与主干网络倒数第二层输出的RGB特征与D特征进行通道维拼接， 进 行第二次融合， 获得通道数为128 0、 尺寸为 14×14的特征图； 最后将深度融合后的特征进 行 三层卷积 计算， 获得通道数为1024、 尺寸为 14×14的特征图， 进而将 计算结果输入到抓取检 测头中。权　利　要　求　书 2/2 页 3 CN 114998573 A 3