(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211135294.X (22)申请日 2022.09.19 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市经济技 术开发 区白杨街道 2号大街9 28号 (72)发明人 俞焘杰　范国帅　陈建能　赵润茂　 贾江鸣　武传宇　贺磊盈　 (74)专利代理 机构 杭州昊泽专利代理事务所 (特殊普通 合伙) 33449 专利代理师 黄前泽 (51)Int.Cl. G06T 7/73(2017.01) G06V 20/64(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01)G06V 10/764(2022.01) G06V 10/762(2022.01) A01D 46/04(2006.01) A01D 91/04(2006.01) (54)发明名称 基于三维点云深度学习网络的机械化茶叶 采摘方法 (57)摘要 本发明公开了基于三维点云深度学习网络 的机械化茶叶采摘方法， 先对三维点云数据进行 滤波， 采用三维点云深度学习网络模 型对滤波后 的点云数据进行点云语义分割， 将点云数据中分 割成顶端鲜叶点云、 当前时刻采茶刀片点云和茶 叶枝干点云三个 分类， 并形成每个鲜叶点云数据 的长度语义标签； 然后将不在鲜叶合理长度范围 内的鲜叶点云数据从顶端鲜叶点云中筛除； 接 着， 计算鲜叶剪切距离， 调整采茶刀片角度， 计算 当前时刻采茶刀片与茶陇蓬面的高度差， 计算当 前时刻最佳深 入距离； 最后对最佳深入距离进行 实时反馈调节。 本发明极大地提高了采摘的鲜叶 质量。 权利要求书2页 说明书5页 附图2页 CN 115496804 A 2022.12.20 CN 115496804 A 1.基于三维点云深度学习网络的机 械化茶叶采摘方法， 其特 征在于： 包括如下步骤： 步骤1、 在采茶刀片尾部粘贴反光条； 反光条的长度等于采茶刀片尾部的长度， 且反光 条有部分高于采茶刀片尾部设置； 步骤2、 将采茶刀片和三维激光雷达均置于茶陇蓬面上方， 且采茶刀片位于三维激光雷 达沿X轴正向上， 采茶刀片尾部朝向三维激光雷达； 三维激光雷达与沟槽的距离保持不变， 且采茶刀片和三维激光雷达的前后运动完全同步； 其中， 以竖直向上为Z轴正向， 采茶刀片 前进方向为X轴正向， Y轴正向与Z轴正向和X轴正向符合笛卡尔空间直角坐标系； 启动三维 激光雷达； 步骤3、 三维激光雷达将采集的三维点云数据传至边缘计算平台， 边缘计算平台对三维 点云数据依次进 行条件滤波处理和体素滤波处理， 然后采用边缘计算平台部署的三 维点云 深度学习网络模型对处理后的点云数据进 行点云语义分割， 将点云数据分割成顶端鲜叶点 云、 当前时刻采茶刀片点云和茶叶枝干点云三个分类， 并形成每个鲜叶点云数据的长度语 义标签； 步骤4、 将长度语义标签记录的长度不在鲜叶合理长度范围内的鲜叶点云数据从顶端 鲜叶点云中筛除， 鲜叶合理长度范围为0.9l1～1.1l2， l1为设定的最小鲜叶长度， l2为设定 的最大鲜叶长度； 步骤5、 鲜叶剪切距离计算： 对步骤4筛选得到的顶端鲜叶点云中位于当前时刻采茶刀 片点云正下方的点云进行Z轴上的投影， 并将投影长度均值再与最大鲜叶长度l2取平均作 为当前时刻茶陇蓬面 点云的鲜叶剪切距离； 步骤6、 调整采茶刀片角度， 具体过程如下： 6.1确定当前时刻采茶刀片采摘线： 从当前时刻采茶刀片点云中选取当前时刻反光条 最底部边沿点云； 将当前时刻反光条最底部边沿点云中各点的X轴坐标加上采茶刀片的宽 度， 得到的点云作为当前时刻采茶刀片采摘线， 将反光条的俯仰角作为采茶刀片的俯仰角； 6.2确定当前时刻茶陇蓬面点云： 选取步骤3处理后的点云数据中X轴坐标与当前时刻 采茶刀片刀尖X轴坐标相等的各点， 得到当前时刻茶陇蓬面 点云； 6.3对当前时刻茶陇蓬面 点云利用聚类算法进行曲线拟合， 得到当前时刻茶陇蓬面线； 6.4调整采茶刀片角度： 变换采茶刀片角度， 针对每个采茶刀片角度， 计算当前时刻采 茶刀片采摘线 上所有点到当前时刻茶陇蓬面线垂 直距离的方差； 将采茶刀片角度调整到方 差最小对应的角度； 步骤7、 计算当前时刻采茶刀片与茶陇蓬面的高度差： 将当前时刻采茶刀片采摘线与当 前时刻茶陇蓬面线 上Y轴坐标相等的各点进 行Z轴坐标相减， 并对相减所得的各个值取均值 作为当前时刻采茶刀片与茶陇蓬面的高度差； 步骤8、 若当前时刻采茶刀片与茶陇蓬面的高度差小于0， 且当前时刻采茶刀片与茶陇 蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和小于0， 则将当前时刻采茶刀 片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和取绝对值后作为采 茶刀片的当前时刻最佳深入距离， 采茶刀片上升当前时刻最佳深入距离； 否则， 将当前时刻 采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和作为采茶刀 片的当前时刻最佳深入距离， 采茶刀片下降当前时刻最佳深入距离； 然后采茶刀片和三维 激光雷达做同步前进运动， 采茶刀片对当前时刻茶陇蓬面上的茶叶进行采摘；权　利　要　求　书 1/2 页 2 CN 115496804 A 2步骤9、 采茶刀片和三维激光雷达同步前进过程中， 不断重复步骤3至步骤8， 直到采摘 结束， 采茶刀片和三维激光雷达停止前进。 2.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法， 其特征在 于： 条件滤波处理中， 以初始时刻三 维激光雷达拍摄到的整个茶陇中横截面的最大宽度d乘 以1.2作为保留宽度D， 以初始时刻三维激光雷达拍摄到的整个茶陇最大高度乘以1.2作为 保留高度H， 以行进方向速度 乘以10作为保留长度L， 以三 维激光雷达位置为零点， 向下延伸 H， 向左右两边各延伸0.5D， 向前延伸L， 形成一个长方体区域作为条件 滤波中三 维点云的保 留范围。 3.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法， 其特征在 于： 所述的体素滤波处理如下： 对条件 滤波处理后剩余的三 维点云数据进 行下采样， 保留点 云形状特 征前提下， 创建一个三维体素栅格， 每 个体素用该体素中所有点的重心来显示。 4.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法， 其特征在 于： 所述的三维点云深度学习网络模型采用Po intNet++网络模型。 5.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法， 其特征在 于： 三维点云深度学习网络模型预先经过训练和验证， 训练 时采用训练集数据， 验证时采用 验证集数据。 6.根据权利要求5所述基于三维点云深度学习网络的机械化茶叶采摘方法， 其特征在 于： 数据集中90％的数据归为训练集， 10％的数据归为验证集； 数据集是预先采用三 维激光 雷达对茶陇进 行扫描并对采集的三维点云数据依次进 行条件滤波处理和体素滤波处理， 再 对处理后的三维点云数据标注出顶端鲜叶点云、 当前时刻 采茶刀片点云和茶叶枝干点云三 个分类而得到的。 7.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法， 其特征在 于： 所述的聚类算法为K ‑means聚类。权　利　要　求　书 2/2 页 3 CN 115496804 A 3