(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210500243.6 (22)申请日 2022.05.09 (71)申请人 南京农业大 学 地址 210000 江苏省南京市浦口区点将台 路40号 (72)发明人 汪小旵　王得志　施印炎　陈彦宇　 武尧　李为民　 (74)专利代理 机构 南京先科专利代理事务所 (普通合伙) 32285 专利代理师 何静 (51)Int.Cl. A01D 46/30(2006.01) B25J 5/00(2006.01) G06V 20/10(2022.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种适用 于多层高架种植农艺的多工况温 室草莓精准采摘机 器人及采摘方法 (57)摘要 本发明提供了一种适用于多层高架种植农 艺的多工况温室草莓精准采摘机器人及采摘方 法， 包括路径规划模块、 移动底盘、 五连杆机械 臂、 末端执行机构、 主控模块、 高度调节装置、 能 源持续供给模块、 分级收集装置。 本发明利用五 连杆机械臂在平面内带动末端执行机构自由移 动， 通过图像识别定位模块对草莓进行识别定 位， 在高度调节装置的配合下， 能够使末端执行 机构在不同层高的高架上对成熟草莓进行无损 采摘， 自动化程度高， 节省了 人力物力。 本发明基 于改进的深度学习实例分割网络SOLO来进一步 提高模型对草莓的检测速度和精度， 本发明还能 够识别草莓体积， 并据此分级放置采摘后的草 莓， 大大减少后续采摘人员分级装框售卖的工作 量。 权利要求书3页 说明书7页 附图5页 CN 114793633 A 2022.07.29 CN 114793633 A 1.一种适用于多层高架种植农艺的多工况温室草莓精准采摘机器人， 其特征在于， 包 括移动底盘 （2） ， 移动底盘 （2） 内部安装有主控模块， 主控模块与上位机信号连接， 主控模块 还与路径规划 模块 （1） 、 第一深度相机 （300） 、 五连杆机械臂 （4） 、 末端执行机构 （5） 、 高度调 节装置 （6） 、 能源持续供 给模块 （7） 连接； 移动底盘 （2） 上方安装有高度调节装置 （6） ， 高度调节装置 （6） 上方通过机械臂支撑架 （9） 安装有五连杆机械臂 （4） ， 五连杆机械臂 （4） 上安装有末端执行机构 （5） ， 末端执行机构 （5） 上安装有第一深度相机 （300） ； 机械臂支撑架 （9） 前端安装有路径规划模块 （1） ， 移动底 盘 （2） 后端安装有能源持续供 给模块 （7） 。 2.根据权利要求1所述的适用于多层高架种植农艺的多工况温室草莓精准采摘机器 人， 其特征在于， 所述末端执行机构 （5） 包括滑轨框 （512） ， 滑轨框 （512） 下表面安装有超声 波传感器 （504） ， 滑轨框 （512） 下表面还与第三伺服电机 （505） 输出端连接， 滑轨框 （512） 前 端滑动安装有第一机械指滑块 （506） 和第二机械指滑块 （507） ， 第一机械指滑块 （506） 和二 机械指滑 块 （507） 相对的一侧均设置为斜边结构且斜边上均开设有一条滑轨， 滑动件 （508） 滑动安装在滑轨中， 滑动件 （508） 后端与推杆 （509） 连接， 推杆 （509） 另一端穿过滑轨框 （512） 后与折返式电缸 （510） 连接； 第一机械指滑块 （506） 前端、 第二机械指滑块 （507） 的前端分别安装有第一机械指 （500） 、 第二机械指 （501） ， 第一机械指 （500） 上表面、 第二机械指 （501） 上表面均安装有刀 片。 3.根据权利要求2所述的适用于多层高架种植农艺的多工况温室草莓精准采摘机器 人， 其特征在于， 所述五连杆机械臂 （4） 包括两个对称固定在机械臂支撑架 （9） 上表面的底 座 （407） ， 两个底座 （407） 上分别安装有第一伺服电机 （401） 和第二伺服电机 （402） ， 第一伺 服电机 （401） 和第二伺服电机 （402） 分别与第一机械臂短连杆 （403） 、 第二机械臂短连杆 （404） 固定连接， 第一机械臂短连杆 （403） 另一端与第一机械臂长连杆 （405） 转动连接， 第二 机械臂短连 杆 （404） 另一端与第二机 械臂长连 杆 （406） 转动连接； 第二机械臂长连杆 （406） 另一端与第一机械臂长连杆 （405） 另一端转动连接， 且连接处 的第二机械臂长连杆 （406） 下端安装有第三伺服电机 （505） ， 连接处的第一机械臂长连杆 （405） 上端安装有滑轨 框 （512） 。 4.根据权利要求3所述的适用于多层高架种植农艺的多工况温室草莓精准采摘机器 人， 其特征在于， 所述路径规划模块 （1） 包括固定在机械臂支撑架 （9） 前端的云台底座 （103） ， 云台底座 （103） 内安装有云台伺服电机 （102） ， 云台伺服电机 （102） 输出端与安装在 云台底座 （103） 顶部的旋转云台 （100） 连接， 旋转云台 （100） 上安装有第二深度相机 （101） ， 云台底座 （10 3） 下方还安装有激光雷达传感器 （10 5） 。 5.根据权利要求4所述的适用于多层高架种植农艺的多工况温室草莓精准采摘机器 人， 其特征在于， 所述移动底盘 （2） 包括移动底盘框架 （200） 、 多组从动轮、 履带 （201） ， 移动 底盘框架 （200） 内安装有行走驱动电机 （204） ， 行走驱动电机 （204） 输出端与主动轮 （202） 连 接， 履带 （201） 套设在主动轮 （202） 以及从动轮上。 6.根据权利要求5所述的适用于多层高架种植农艺的多工况温室草莓精准采摘机器 人， 其特征在于， 所述高度调节装置 （6） 包括两组步进电机 （600） ， 两组步进电机 （600） 均与 对应的两组精密丝杆 （602） 通过弹性联轴器连接， 精密丝杆 （602） 上均安装有滑块， 剪式升权　利　要　求　书 1/3 页 2 CN 114793633 A 2降平台 （6 01） 底部四端分别固定在四个滑块上。 7.根据权利要求1所述的适用于多层高架种植农艺的多工况温室草莓精准采摘机器 人， 其特征在于， 所述机械臂支撑架 （9） 是由多块支撑型材 （900） 和支撑板 （901） 拼接组成的 矩形板状结构； 支撑板 （901） 上安装有多个粘贴有不同标签的收集框作为分级收集装置 （8） 。 8.根据权利要求2所述的适用于多层高架种植农艺的多工况温室草莓精准采摘机器 人， 其特征在于， 所述第一机械指 （500） 与第二机械指 （501） 相对的一侧均设置有海绵垫 （511） 。 9.根据权利要求1所述的适用于多层高架种植农艺的多工况温室草莓精准采摘机器 人， 其特征在于， 所述能源持续供给模块 （7） 包括太阳能板和支撑架， 支撑架固定在移动底 盘 （2） 后端， 太阳能板倾 斜安装在支撑架上。 10.利用权利要求6所述的适用于多层高架种植农艺的多工况温室草莓精准采摘机器 人的草莓采摘方法， 其特 征在于， 包括如下 过程： 在上位机以及主控模块的综合控制下， 云台伺服电机 （102） 驱动旋转云台 （100） 转动， 旋转云台 （100） 上的第二深度相机 （101） 随之转动， 采集采摘机器人周围环境信息， 第二深 度相机 （101） 以及激光雷达传感器 （105） 采集的信息均传递至主控模块进行初步析， 而后传 递至上位机进一步分析处理， 确定采摘机器人 的位置， 然后按照神经网络静态路径规划 算 法， 通过神经网络的学习来建立精确的模型， 识别出定位通行的道路， 据此下发控制指令； 由主控模块控制行走驱动电机 （204） 工作， 行走驱动电机 （204） 驱动主动轮 （202） 转动， 带动 履带 （201） 运动， 使得采摘机器人按照既定的路径行 走至草莓采摘区域； 到达草莓采摘区域后， 超声波传感器 （504） 检测末端执行机构 （5） 与 草莓之间 的距离并 最终传递至上位机， 第一深度相机 （300） 采集温室中草莓图像数据并传递至上位机进行分 析处理， 利用2D ‑to‑3D技术， 将草莓2D图像转换为3D模型， 计算草莓的相对体积； 然后利用 采集到的草莓图像制作COCO数据集， 输入到改进的深度学习实例分割网络SOLO中进行训 练， SOLO按果实在图像中的位置进行分割， 将ResNet ‑101作为主干网络提取特征， 连接FPN 网络， 将FPN网络与ResNet ‑101主干网络底层特征层 进行融合， 在瓶颈处添加注 意力机制模 块， 将非极大值抑制修改为快速非极大值抑制； 将草莓图像输入到训练好的网络模型后， 输 出草莓和茎秆的掩膜并提取 出来， 将草莓 茎秆的二分之一处作为切割点； 确定好切割点位置以及末端执行机构 （5） 与草莓之间的距离后， 上位机下发指令至主 控模块， 主控模块控制第一伺服电机 （401） 和第二伺服电机 （402） 工作， 带动四根连杆运动， 将末端执行机构 （5） 移动至采摘位置处； 接着， 主控模块控制折返式电缸 （510） 伸缩端向后 收缩， 折返式电缸 （510） 向后拉动推杆 （