(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210346748.1 (22)申请日 2022.04.02 (71)申请人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 张道德　王君明　叶旭辉　胡新宇　 贺壮　张作伟　熊鑫威　 (74)专利代理 机构 北京金智普华知识产权代理 有限公司 1 1401 专利代理师 张晓博 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种龙虾分拣方法、 系统、 介质、 设备及终端 (57)摘要 本发明属于龙虾检测技术领域， 公开了一种 龙虾分拣方法、 系统、 介质、 设备及终端， 通过工 业相机获取龙虾的 图像， 并输入到 Faster R‑CNN 网络中； 利用ResNet ‑50卷积神经网络提取图像 的特征， 并进行特征融合； 通过 RPN层网络生成预 测候选框， 利用ROI  Pool层网络提取预测特征， 利用ROI Head层网络预测龙虾的分类 结果； 将分 类结果输入至分拣装置， 完成龙虾分拣。 本发明 通过改进深度神经网络Faster  R‑CNN来应用于 龙虾的分拣工作， 实现对龙溪的全自动快速分 拣， 提升龙虾分拣的效率； 使用基于深度学习的 图像识别的龙虾分类模型， 解决了物理分拣中， 龙虾碰撞造成了损失， 优化了龙虾分拣的效果。 权利要求书4页 说明书11页 附图4页 CN 114648702 A 2022.06.21 CN 114648702 A 1.一种龙虾分拣方法， 其特 征在于， 所述龙虾分拣方法包括： 通过工业相机获取龙虾的图像， 并输入到Faster  R‑CNN网络中； 利用ResNet ‑50卷积神 经网络提取图像的特征， 并进行特征融合； 通过RPN层网络生 成预测候选框， 利用ROIPool层 网络提取预测特征， 利用ROIHead层网络预测龙虾的分类结果； 将分类结果输入至分拣装 置， 完成对龙虾的分拣。 2.如权利要求1所述的龙虾分拣方法， 其特 征在于， 所述龙虾分拣方法包括以下步骤： 步骤一， 通过工业相机收集龙虾的图像数据， 利用ResNet ‑50卷积神经网络提取龙虾的 特征图； 步骤二， 将ResNet ‑50卷积神经网络提取的特 征图经过特征金字塔网络进行 特征融合； 步骤三， 将经 过特征融合后的特 征图输入RPN层网络， 在特 征图上生成预测候选 框； 步骤四， 利用ROI  Pool层网络提取 特征图上预测候选 框中的特 征； 步骤五， 利用ROI  Head层网络对ROI  Pool层中提取的特征分析， 得到龙虾的预测结果， 并将结果发送给分拣系统 处理， 对龙虾进行分拣。 3.如权利要求2所述的龙虾分拣方法， 其特征在于， 所述步骤一中的利用ResNet ‑50卷 积神经网络提取 龙虾特征图包括： (1)ResNet ‑50包括依次连接的五个卷积层组成， 其 中第一卷积层由7 ×7×64的卷积核 组成， 步距为2， 卷积后图像大小变为原来的一半， 通道数由3变为64； 第二卷积层是3 ×3大 小的最大池化层， 步距为2， 操作后图像大小不变； (2)使用连续的1 ×1×64、 3×3×64、 1×1×256的卷积核对图像进行卷积操作， 卷积后 图像大小变为原 来的一半， 再进 行下采样操作， 将图像大小变为原来的两倍， 并与卷积之前 的图像进行 带权重的加和； (3)将步骤(2)重复进行3次， 在第三次时， 取消步骤(2)中的下采样操作， 得到原始图像 一半大小， 通道数为64的特 征层1； (4)第三卷积层中， 使用连续 的1×1×128、 3×3×128， 1×1×512的卷积核对特征层1 进行卷积操作， 卷积后的特征层大小变为原来的一半； 使用下采样操作， 将特征层大小变为 原来的两倍， 并与卷积之前的特 征层进行 带权重的加和； (5)将步骤(4)重复进行4次， 在第四次时， 取消步骤(4)中的下采样操作， 得到特征层1 一半大小， 通道数为128的特 征层2； (6)第四卷积层中， 使用连续的1 ×1×256、 3×3×256， 1×1×1024的卷积核对特征层2 进行卷积操作， 卷积后的特征层大小变为原来的一半； 使用下采样操作， 将特征层大小变为 原来的两倍， 并与卷积之前的特 征层进行 带权重加和； (7)将步骤(6)重复进行6次， 在第六次时， 取消步骤(6)中的下采样操作， 得到特征层2 一半大小、 通道数为25 6的特征层3； (8)第五卷积层中， 使用连续的1 ×1×512、 3×3×512， 1×1×2048的卷积核对特征层2 进行卷积操作， 卷积后的特征层大小变为原来的一半； 使用下采样操作， 将特征层大小变为 原来的两倍， 并与卷积之前的特 征层进行 带权重加和； (9)将步骤(7)重复进行3次， 在第三次时， 取消步骤(8)中的下采样操作， 得到特征层2 一半大小、 通道数为512的特 征层4。 4.如权利要求2所述的龙虾分拣方法， 其特征在于， 所述步骤二中的将特征图经过特征权　利　要　求　书 1/4 页 2 CN 114648702 A 2金字塔网络进行 特征融合包括： (1)使用3 ×3×256的卷积层对特征层4进行卷积操作， 步距为1， 得到新的特征层4， 尺 寸大小不变， 通道数为25 6； (2)使用3 ×3×256的卷积层对特征层3进行卷积操作， 步距为2， 并使用3 ×3×256的卷 积层对特征层4进 行卷积操作， 步距为 1； 对两个卷积操作的特征层 进行拼接， 得到新的特征 层3， 尺寸大小与特 征层3相同， 通道数为25 6； (3)使用3 ×3×256的卷积层对特征层2进行卷积操作， 步距为2， 并使用3 ×3×256的卷 积层对特征层3进 行卷积操作， 步距为 1； 对两个卷积操作的特征层 进行拼接， 得到新的特征 层2， 尺寸大小与特 征层2相同， 通道数为25 6； (4)使用3 ×3×256的卷积层对特征层1进行卷积操作， 步距为2， 并使用3 ×3×256的卷 积层对特征层3进 行卷积操作， 步距为 1； 对两个卷积操作的特征层 进行拼接， 得到新的特征 层1， 尺寸大小与特 征层1相同， 通道数为25 6； (5)经过多特征融合操作后， 得到与特征层1、 特征层2、 特征层3、 特征层4尺寸大小相 同， 通道数均为256的四层特征层， 对特征层进行融合拼接得到新的特征层， 输入后续网络 当中。 5.如权利要求2所述的龙虾分拣方法， 其特征在于， 所述步骤三中的RPN层网络， 在特征 图上生成预测候选 框包括： (1)采用3 ×3×256的卷积层对特 征层进行 卷积操作； (2)采用特征层中每个像素点为中心即锚点， 以不同尺寸、 不同长宽比的矩形框选取的 方式来选取 预测候选 框； 其中， 所述矩形框的基本固定尺寸为64px、 128px、 256px、 512px， 长宽比例为0.5、 1、 2， 基本固定尺寸和长宽比例的所有可能组合为12； 固定尺寸的个数和比例个数 的乘积， 一副 图片得到的预测候选框个数由特征图的宽度、 长度和单个锚点生成的矩形框个数的乘积求 得， 具体公式如下： numc＝W×H×K； 其中， W为特征图的宽度， H为特 征图的长度， K为单个锚点 生成的矩形框个数。 6.如权利要求2所述的龙虾分拣方法， 其特征在于， 所述步骤四中的利用ROIPool层网 络提取特征图上预测候选 框中的特 征包括： 根据步骤三中生成的预测候选框的坐标信 息来获取特征层相应位置的特征信 息； 将得 到的特征信息划分为7 ×7大小的格子， 对每个格子中对应的特征信息进行最大池化操作； 将每个格子中最大的特征信息作为格子的特征信息， 得到7 ×7大小的特征图； 其中， 所述7 ×7大小的特 征图的个数为 步骤三中RPN层网络生成的预测候选 框的个数； 所述步骤五中的利用ROIHead层网络对ROIPool层中提取的特征分析， 得到龙虾的预测 结果包括： 将步骤四中的特征图进行展平处理， 得到的特征个数为特征图的长、 宽和特征图的深 度的乘积； 将展平后的特征通过两个全连接网络分别得到图像中检测对象的类别分数和位 置分数； 其中， 两个全连接网络分别为CLS层和REG层， 用于对特征图中检测对象的类别和特征 图中检测对象的位置进行判断； 其中， CLS层的输出为龙虾分类个数加一， REG层的输出为权　利　要　求　书 2/4 页 3 CN 114648702 A 3