(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229454.0 (22)申请日 2022.03.09 (71)申请人 沈阳工学院 地址 113006 辽宁省抚顺市经济技 术开发 区 (72)发明人 刘业峰　孙维堂　赵元　陶林　 张丽丽　穆德敏　 (74)专利代理 机构 沈阳易通专利事务所 21 116 专利代理师 于艳梅 (51)Int.Cl. G06V 10/56(2022.01) G06V 10/25(2022.01) G06T 7/80(2017.01) G06V 10/20(2022.01) G06V 10/44(2022.01)G06V 10/50(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06T 7/194(2017.01) G06T 7/13(2017.01) G06T 7/11(2017.01) G06T 5/20(2006.01) G06T 5/00(2006.01) G06T 7/73(2017.01) B07C 5/342(2006.01) B07C 5/02(2006.01) (54)发明名称 一种基于产品颜色及形状识别的智能分拣 系统及方法 (57)摘要 本发明公开了一种基于产品颜色及形状识 别的智能分拣系统及方法， 在现场传送带上方布 置CCD相机， 通过机器人手眼标定操作， 确定像素 坐标系和机器人坐标系的坐标转化关系； CCD相 机尺度采用的是像素坐标， 机器人坐标是空间坐 标系， 手眼标定就是得到像素坐标系和机器人坐 标系的坐标转化关系； 采用九点标定直接建立 CCD相机和机器人之间的坐标变换关系， 让机器 人的末端通过九个点得到在机器人坐标系中的 坐标， 用CCD相机识别九个点得到像素坐标； 通过 计算可获得像素坐标系和机器人坐标系的坐标 转化的标定参数。 本发明构建了基于机器视觉的 智能分拣系统， 实现了工件的自动分拣， 自动进 行工件的外部尺寸检测， 并与标准工件模板比 较， 从而区分不同类别的工件。 权利要求书4页 说明书9页 附图3页 CN 114913346 A 2022.08.16 CN 114913346 A 1.一种基于产品颜色及形状识别的智能分拣系统， 其特征在于： 包括视觉信号采集层、 视觉信号处 理层、 视觉任务控制层、 视 觉应用层； 视觉信号采集层， 用于为系统提供实时现场流水线视觉信息； 在现场传送带上方布置 CCD相机， CCD相机与现场的机器人配合使用， 以实现控制机器人分拣 工件； 当有外部信号触 发时， 采集视觉信号用于获取分拣工件的颜色及形状信息， 为工件类别的判断与工件的定 位提供原始数据； 视觉信号处理层， 该层包括车间总控服务器、 上位机、 工件仓储总控； 视觉信号处理层 用于对视觉信号采集层所获得信号的处理与分析及向上层设备的信息反馈， 以满足车间各 单元设备对视 觉信号的需求； 视觉任务控制层， 该层包括单元总控； 视觉任务控制层用于实现生产任务调度及单元 内设备的协调控制， 实现视觉任务的下发； 同时还用于实现各加工单元的视觉采集控制， 实 现现场信息的采集及设备状态信息、 生产管理信息、 质量统计信息的在线监控； 视觉应用层， 该层包括机器人控制器， 利用视觉信号处理层处理及分析的结果， 对现场 的机器人实施运动控制， 实现工件抓取功能； 并能针对不同的功 能对视觉信号施予不同的 应用。 2.根据权利要求1所述的一种基于产品颜色及形状识别的智能分拣系统， 其特征在于： 所述视觉信号采集层包括镜头、 CCD相机、 光源以及图像采集卡， 光源设置于传送带上的工 件上方， CCD相机位于光源的上方， 镜头配合安装于CCD相机上， 机器人位于传送带一侧， CCD 相机与图像采集 卡相连； 所述视 觉任务控制层还 包括检测任务、 工件运输任务。 3.根据权利要求2所述的一种基于产品颜色及形状识别的智能分拣系统， 其特征在于： 所述图像采集卡与视觉信号处理层的上位机相连， 上位机通过云平台与机器人控制器通信 连接， 机器人控制器与机器人相连。 4.利用如权利要求1所述的一种基于产品颜色及形状识别的智能分拣系统的分拣方 法， 其特征在于， 包括如下步骤： 步骤1： 通过机器人手眼标定操作， 确定像素坐标系和机器人坐标系的坐标转 化关系； CCD相机尺度采用是像素坐标， 机器人坐标为是空间坐标系， 手眼标定就是得到像素坐 标系和机器人坐标系的坐标转化关系； 采用九点标定直接建立CCD相 机和机器人之间的坐 标变换关系， 让机器人的末端通过 九个点得到在机器人坐标系中的坐标， 同时用CCD相机识 别九个点得到像素坐标； 通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参 数； 如果有一个点变换之前 是[x,y,1],变换后是[x ’,y’， 1]， 则转 化关系表示如下: TX+M＝Y            (1) 其中， M＝[c,f,0]T,X＝[x,y,1]， Y＝[x ’,y’,1]； 如果想求a ‑f之间6个变量需要3组点； 为了提 高标定的精度， 通常使用9组点， 利用最小 二乘法确定待定的系数； 步骤2： 采用C CD成像标准的工件 模板， 存储在车间总控服 务器的数据库中； 通过标准工件模板CCD成像， 建立待分拣工件的模板并存储在车间总控服务器的数据权　利　要　求　书 1/4 页 2 CN 114913346 A 2库中； 步骤3： 判断待测工件是否在视野内 通过传送带的辅助开关进行检测， 判断是否有工件在视野范围内， 如果有工件， 辅助开 关闭合， 单元总控检测到辅助开关闭合后， 控制CCD相机对视野内工件进 行图像采集， 否则， 系统循环检测工件是否在视野内； 步骤4： 通过对工件颜色及形状特征的提取， 车间总控服务器判断视野内的工件是否为 待拣工件， 具体包括以下步骤： 4.1工件图像的预处 理 4.2工件图像特 征提取 4.3工件颜色和形状的相似度计算 4.4工件类型的辨识； 步骤5： 工件形心位置及角度的计算 CCD相机匹配到对应的目标工件后， 接下来便要获取匹配工件的位姿信息来引导机器 人完成对目标工件的准确抓取； 视觉任务下的目标位姿信息包括目标在二维运动平面上的 位置信息及偏转角度； 利用形状特征所提取的质心 坐标来描述目标工件在图像中的位置坐 标信息； 目标 的偏转角度是相对于其初始模板状态下 的旋转过程， 因此分别对当前目标图 像和其对应类别模板图像求取最小外接矩形， 比较两个矩形在水平或垂 直方向上的角度差 值， 作为机器人抓取当前目标工件时的补偿角度； 默认分拣工件表面的图案特征为非对称 图形， 因此规定目标工件的角度旋转范围为 ±180°， 这样便获取了2D视觉任务下单个目标 工件的位姿信息： X_Y_A_； 步骤6： 控制机器人到 达指定位置， 执 行分拣操作 如果当前工件为某类假设合格工件， 则根据步骤5计算的位置及角度， 调整机器末端执 行器， 分拣至指定通道， 如果不是某类所需寻找的工件， 则跳转到步骤3， 继续执行， 直到完 成分拣处 理。 5.根据权利要求4所述的基于产品颜色及形状识别的智能分拣系统的分拣方法， 其特 征在于： 所述工件图像的预处理包括对获取 的图像采用高斯滤波进行滤波去 噪处理， 通过 图像分割将图像分割成各具特性的区域， 并将图像中的前景目标从背景中分离并提取出 来； 对工件图像进行边 缘检测， 根据检测出的边 缘区域将目标从背景中分离开。 6.根据权利要求4所述的基于产品颜色及形状识别的智能分拣系统的分拣方法， 其特 征在于： 所述工件图像特 征提取包括 ①颜色特征的提取、 ②形状特征的提取； ①所述颜色特 征的提取： 颜色特征的提取方法采用颜色直方图， 颜色直方图是最基本的颜色特征表示方法， 它 反映的是图像中颜色的组成分布， 即出现了哪些颜色以及颜色出现的概率； 其函数表达式 如下： 其中， k代表图像的特征取值， L是特征可取值的个 数， nk是图像中具有特征值为k的像素 的个数， N是图像像素的总数； 由于该颜色特征 的提取过程不必考虑物体的空间位置， 可以 根据颜色直方图所描述的不同色彩在整幅图像中所占的比例判断工件 颜色的相似性；权　利　要　求　书 2/4 页 3 CN 114913346 A 3