(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211137414.X (22)申请日 2022.09.19 (71)申请人 云南省烟草烟叶公司 地址 650217 云南省昆明市经济技 术开发 区西邑村182号 (72)发明人 高宪辉　周渭皓　张龙　何彬　 陈敬悦　史绍新　刘磊　尹晓东　 赵庆华　尤谦谦　李艳红　段丽　 杨艳波　张海　马云海　章维敏　 张云伟　吴天南　郑娇　栾菲菲　 孙浩巍　张轲　王春琼　 (74)专利代理 机构 北京八月瓜知识产权代理有 限公司 1 1543 专利代理师 秦莹(51)Int.Cl. G06V 10/764(2022.01) G06V 10/28(2022.01) G06V 10/147(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) (54)发明名称 基于视觉的烤后烟烟叶部位分类方法、 装置 及电子设备 (57)摘要 本说明书实施例提供了一种基于视觉的烤 后烟烟叶部位分类方法、 装置、 及电子设备， 其 中， 方法包括： 对烤后 烟烟叶图片 进行标注， 基于 标注的烤后烟烟叶图片基于深度自学习网络进 行训练， 得到语义分割模型， 将烤后烟烟叶图片 输入所述语义分割模型， 根据所述语义分割模型 的输出进行烟叶背景及烟叶放置平台上其他杂 物的处理， 获取处理后的烤后烟烟叶图片； 寻找 烤后烟烟叶图片烟叶部分的上下左右边界， 计算 边界点， 再使用高分辨率工业相机拍摄黑白棋盘 格图片作为参照， 计算烤后烟烟叶真实的长宽； 根据烤后烟烟叶真实的长宽和黑白棋盘格参照 信息， 计算烤后烟烟叶实际面积； 根据烤后烟烟 叶真实的长宽和烤后烟烟叶实际面积， 通过分类 模型得到 部位分类结果。 权利要求书6页 说明书12页 附图7页 CN 115457327 A 2022.12.09 CN 115457327 A 1.一种基于 视觉的烤后烟 烟叶部位分类方法， 其特 征在于， 包括： 对烤后烟烟叶图片进行标注， 基于标注的烤后烟烟叶图片基于深度自学习网络进行训 练， 得到语义分割模 型， 将烤后烟烟叶图片 输入所述语义分割模型， 根据所述语义分割模型 的输出进行烟叶背景及 烟叶放置平台上其 他杂物的处 理， 获取处 理后的烤后烟 烟叶图片； 寻找烤后烟烟叶图片烟叶部分的上下左右边界， 计算边界点， 再使用高分辨率工业相 机拍摄黑白棋盘 格图片作为 参照， 计算烤后烟 烟叶真实的长 宽； 根据烤后烟 烟叶真实的长 宽和黑白棋盘 格参照信息， 计算烤后烟 烟叶实际面积； 根据烤后烟烟叶真实的长宽和烤后烟烟叶实际面积， 通过分类模型得到部位分类结 果。 2.根据权利要求1所述的方法， 其特征在于， 对烤后烟烟叶图片进行标注， 基于标注的 烤后烟烟叶图片基于深度自学习网络进行训练， 得到语义分割模型， 将烤后烟烟叶图片输 入所述语义分割模型， 根据所述语义分割模型的输出进行烟叶背 景及烟叶放置平台上其他 杂物的处 理， 获取处 理后的烤后烟 烟叶图片具体包括： 对所述烤后烟烟叶图片的图片特征区域和背景进行像素级标注， 在每张待训练 的所述 烤后烟烟叶图片上用自定义多边形曲线标注烟叶部 分和背景部分， 生成带有烟叶区域像素 位置信息的像素级标签； 采用基于mobilenetv2的DeepLab  v3+语义分割网络， 根据标注好标签的所述烤后烟烟 叶图片进行训练， 分割所述烤后烟烟叶图片中的烟叶部分， 其中， 所述基于mobilenetv2的 DeepLab v3+语义分割网络共186层， 每次通过卷积层进行卷积操作后根据公式1进行批归 一化， 然后输入激活层， 根据公式2使用截断整流线性单元为激活函数， 解码器用转置卷积 将编码器输出结果还原 为输入特征图的大小， 并对比原图进 行中心裁剪， 通过如公 式3所示 的softmax激活函数后输出通道数为标签个数的分割结果， 再将 输出输入 下一个卷积层， 最 终得到的语义分割结果为一个类别种类为标签种类的类别矩阵， 即矩阵的元素为不同种类 的标签名或者标签的标识字符串， 即分别是烟叶部分 的标签“StopSeg”和背景部分 的标签 “back”； 其中， x(k)和y(k)分别为原始输入数据和输出数据， μ(k)和σ(k)分别是输入数据均值和 标 准差， β(k)和γ(k)分别为可学习的平移参数和缩放参数， 上标k表 示数据的第k维， ε是防止 分 母为0的一个小量； 其中， cei ling为设定的阈值； 其中， zi为第i个节点的输出值， C为标签种类的个数； 针对背景利用语义分割模型输出的类别矩阵， 提取元素为 “back”的元素位置， 对应到权　利　要　求　书 1/6 页 2 CN 115457327 A 2原图像素矩阵中， 将对应位置像素值置0， 进 行初步处理， 根据公 式4将初步处理的烤后烟烟 叶图片转为单通道灰度图像， 再转为二值图像求取连通区域， 在灰度图像转二值图像时确 定合适的像素阈值以将像素二值化， 根据公式5采用计算前景背景类间方差的方法寻找像 素阈值， 计算时在灰度图像中遍历 像素值， 将高于 当前像素值部 分作为前景部分， 其余为背 景部分， 依次计算类间方差后取最大方差对应的像素值作为阈值将灰度图像转为二值图 像， 在二值图像中求取连通区域， 选取8连通的方式， 即元素为 1的像素点上下左右及斜方向 共8个方向像素值均为1， 则认为该区域为一个连通区域， 求取所有的连通区域后选择最大 的连通区域， 其余区域像素值置0， 经过两次处理后的图片背 景部分像素值为0， 没有烟叶放 置平台上残留的碎叶等杂质的影响； I＝0.30R+0.59G+0.1 1B                    公式4； 其中， R,G,B为彩色图片的三 通道矩阵， I为合并后的单通道 矩阵； std＝num1×(ave1‑ave)2+num2×(ave2‑ave)2    公式5； 其中， std为类间方差， num1为前景部分像素个数， num2为背景部分像素个数， ave1为前 景部分平均灰度值， ave2为背景部分平均灰度值， ave为总的平均灰度值。 3.根据权利要求1所述的方法， 其特征在于， 寻找烤后烟烟叶图片烟叶部分的上下左右 边界， 计算边界点， 再使用高分辨率工业相机拍摄黑白棋盘格图片作为参照， 计算烤后烟烟 叶真实的长 宽具体包括： 在经处理后的烤后烟烟叶图片的像素矩阵中， 烟叶部分像素为原始值， 背景部分像素 值为0， 分别沿上下左右 四个方向对图片像素矩阵逐行或逐列遍历， 上下方向按行遍历， 左 右方向按列遍历， 寻找第一个不为0的行或列， 并返回其中不为0的元素的位置， 假设该行或 列中不为0的元素总数为 N， i为其中第i个元 素， 则根据公式6计算作为 边界点的元 素i： 在黑白棋盘格上不同位置 取5个格子测量方格边长ai， 求取平均值作为黑白棋盘中一个 方格的实际边长， 再对拍摄的黑白棋盘格上以同样方式取5个格子测取像素边长， 即图片中 像素坐标间的欧氏距离bi， 同样求取平均值作为黑白棋盘格的像素边长， 根据公式7计算拍 摄图片中像素尺寸zp与实际尺寸的zn： 根据找出的边界点， 将上下边界点记作w1,w2， 左右边界点记作l1,l2， 根据公式8和公式9 计算烟叶实际长 宽Ln,Wn： 4.根据权利要求1所述的方法， 其特征在于， 根据烤后烟烟叶真实的长宽和黑白棋盘格 参照信息， 计算烤后烟 烟叶实际面积具体包括：权　利　要　求　书 2/6 页 3 CN 115457327 A 3