(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211289003.2 (22)申请日 2022.10.20 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 齐立哲　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 李继乾 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01) G06T 17/20(2006.01) G06V 10/762(2022.01)G06V 10/82(2022.01) (54)发明名称 基于图像和点云数据融合的板材表面缺陷 检测方法和系统 (57)摘要 本发明公开了一种基于图像和点云数据融 合的板材表 面缺陷检测方法， 属于机器视觉技术 领域， 包括： 获取板材的原始图像和原始点云数 据； 对原始图像进行分割处理和标注， 得到数据 集， 并对原始点云数据进行预处理， 得到预处理 后的点云数据； 将数据集输入SE ‑Unet网络中进 行缺陷检测， 得到第一检测结果； 基于区域增长 分割算法对 预处理后的点云数据进行分割， 得到 第二检测结果； 基于密度聚类算法对第一检测结 果和第二检测结果进行筛选和聚类， 得到缺陷检 测结果； 对缺陷检测结果进行量化表征和分类， 得到缺陷表征和分类结果。 该方案能够提高板材 表面缺陷检测的准确率， 并提供缺陷量化表征和 分类结果， 能够为后续缺陷修复工作提供数据 支 持。 权利要求书3页 说明书11页 附图5页 CN 115496746 A 2022.12.20 CN 115496746 A 1.一种基于图像和点云数据融合的板材表面 缺陷检测方法， 其特 征在于， 包括： 获取板材的原 始图像和原 始点云数据； 对所述原始图像进行分割处理和标注， 得到数据集， 并对所述原始点云数据进行预处 理， 得到预处 理后的点云数据； 将所述数据集输入SE ‑Unet网络中进行训练和缺陷检测， 得到第一检测结果； 基于区域增长分割算法对所述预处 理后的点云数据进行分割， 得到第二检测结果； 基于密度聚类算法对所述第 一检测结果和第 二检测结果进行筛选和聚类， 得到缺陷检 测结果； 对所述缺陷检测结果进行量 化表征和分类， 得到缺陷表征 结果和缺陷分类结果。 2.根据权利 要求1所述的板材表面缺陷检测方法， 所述SE ‑Unet网络包括编码器和解码 器， 所述编码器包括卷积层、 激活函数层、 归一化层和最大池化层， 所述编码器用于对输入 的数据集图像进行特征提取， 所述解码器用于将特征提取后的特征图进行上采样， 在所述 解码器上采样过程中 融合所述编码器下采样过程中的特 征图， 其特 征在于， 所述解码器中设置有通道注意力 机制， 所述通道注意力 机制用于对图像不同通道的特 征进行学习； 所述 解码器采用双线性插值对编码器生成的特 征图进行 上采样。 3.根据权利要求2所述的板材表面缺陷检测方法， 其特征在于， 所述将所述数据集输入 SE‑Unet网络中进行训练和缺陷检测， 得到第一检测结果的步骤 包括： 将所述数据 集输入SE ‑Unet网络中进行训练， 基于SE ‑Unet网络输出的预估值与真实值 之间的交叉熵损失函数， 得到训练好的SE ‑Unet网络； 将待检测的板材图像输入训练好的SE ‑Unet网络中进行缺陷检测， 得到第一检测结果。 4.根据权利要求1所述的板材表面缺陷检测方法， 其特征在于， 所述基于区域增长分割 算法对所述预处 理后的点云数据进行分割， 得到第二检测结果的步骤 包括： 基于K近邻域法确定点云数据中每 个点的K邻域； 基于所述K邻域中点 集的协方差矩阵估计 每个点的法线； 基于每个点的相邻点的法向量估计 每个点的曲率 值； 基于每个点的法线估计和曲率估计， 利用区域增长分割算法， 得到点云分割簇， 将所述 点云分割簇作为第二检测结果。 5.根据权利要求4所述的板材表面缺陷检测方法， 其特征在于， 所述基于K近邻域法确 定点云数据中每 个点的K邻域的步骤 包括： 对于每个点， 计算该点与点云数据集中其 余各点之前的距离， 并将距离值 排序； 选取距离值小于预定阈值的K个点 集作为该点的K邻域。 6.根据权利要求4所述的板材表面缺陷检测方法， 其特征在于， 所述基于每个点的法线 估计和曲率估计， 利用区域增长 分割算法， 得到点云分割簇， 将所述点云分割簇作为第二检 测结果的步骤 包括： 步骤1： 将每 个点的曲率 值按照从小到大的顺序排序； 步骤2： 设置一个空的聚类区域、 空的种子点序列和空的聚类数组； 步骤3： 将曲率值最小的点作为种子节点， 将该种子节点放入种子序列中， 搜索该种子 节点的邻域点， 计算种子节点与每一个邻域点的法线之间的夹角， 将夹角小于预设阈值的 邻域点加入该种子节点的聚类区域中， 判断该邻域点的曲率值是否小于预设的曲率阈值，权　利　要　求　书 1/3 页 2 CN 115496746 A 2如果该邻域 点的曲率 值小于预设的曲率阈值， 则将该邻域 点加入种子序列中； 步骤4： 删除当前种子节点， 在种子序列中选择新的种子节点， 重复步骤3， 直到种子序 列为空， 将聚类结果加入聚类数组中； 步骤5： 从曲率值排序中查找还未被聚类的点， 将未被聚类的点作为种子节点加入种子 序列中， 重复步骤3和4， 得到多个点云 分割簇； 步骤6： 将点云分割簇中点数量小于预设数量的点云分割簇剔除， 将点云分割簇 中点数 量最多的簇作为背景， 背景之外的点云 分割簇标记为异常点， 得到第二检测结果。 7.根据权利要求1所述的板材表面缺陷检测方法， 其特征在于， 所述基于密度聚类算法 对所述第一检测结果和第二检测结果进行筛 选和聚类， 得到缺陷检测结果的步骤 包括： 设置距离阈值和点数量阈值； 基于所述距离 阈值和点数量阈值， 将第 一检测结果和第 二检测结果中每一个点划分为 核心点、 可达点和离群点， 所述核心点为某一点在距离阈值邻域范围内至少有阈值数量的 点， 所述可达点为与核心点之间的距离在距离阈值内的点， 所述离群点为无法从任何其他 点到达核心点的点； 剔除所述离群点， 将所述核心点作为 缺陷检测结果。 8.根据权利要求1所述的板材表面缺陷检测方法， 其特征在于， 所述对所述缺陷检测结 果进行量 化表征和分类， 得到缺陷表征 结果和缺陷分类结果的步骤 包括： 统计缺陷检测结果中每 个缺陷部位的点云数量； 基于三维凸包点检测算法计算所述缺陷检测结果中缺陷部位的凸包点， 得到凸包点 集， 并基于所述凸包点 集估计每个缺陷部位的表面积和体积； 计算所述缺陷检测结果中缺陷部位的最小包围盒， 并基于所述最小包围盒估计每个缺 陷部位的长 宽高； 计算缺陷检测结果中每 个缺陷部位在点云深度方向的方差； 将每个缺陷部位的点云数量、 表面积、 体积、 长、 宽、 高、 在点云深度方向的方差作为缺 陷表征结果； 将所述缺陷表征 结果输入支持向量机分类 器中进行训练和 测试， 得到缺陷分类结果。 9.根据权利要求8所述的板材表面缺陷检测方法， 其特征在于， 所述将所述缺陷表征结 果输入支持向量机分类 器中进行训练和 测试， 得到缺陷分类结果的步骤 包括： 使用预设的缺陷数据集进行缺陷表征得到多个特征向量， 对所述多个特征向量加标签 得到训练集； 将所述训练集输入支持向量机分类 器中进行训练得到训练好的支持向量机分类 器； 将缺陷表征 结果输入训练好的支持向量机分类 器中进行分类， 得到缺陷分类结果。 10.一种基于图像和点云数据融合的板材表面缺陷检测系统， 其特征在于， 所述系统包 括： 激光扫描仪， 用于获取板材的原 始图像和原 始点云数据； 预处理模块， 用于对所述原始图像进行分割处理和标注， 得到数据集， 并对所述原始点 云数据进行 预处理， 得到预处 理后的点云数据； 第一检测模块， 用于将所述数据集输入SE ‑Unet网络中进行训练和缺陷检测， 得到第一 检测结果；权　利　要　求　书 2/3 页 3 CN 115496746 A 3