(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211134484.X (22)申请日 2022.09.19 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 徐阳　李惠　张楚傲　 (74)专利代理 机构 哈尔滨奥博专利代理事务所 (普通合伙) 23220 专利代理师 桑林艳 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于知识增强计算机视觉的结构健康诊断 方法 (57)摘要 本发明提出基于知识增强计算机视觉的结 构健康诊断方法。 所述方法具体包括： 步骤一： 构 建结构健康诊断层级图像数据集； 步骤二： 构建 知识增强计算机视觉识别网络模型； 步骤三： 训 练知识增强计算机视觉识别网络模 型， 获得多类 型场景、 结构、 构 件及损伤图像的通用分割头； 步 骤四： 移植通用分割头至预测 网络模型， 利用考 虑多类型几何约束的损失函数训练至收敛。 本发 明通过自监督和对比学习实现， 无需对图像进行 标记， 与传统人工标记和图像处理的方法相比， 避免了繁琐的图像标注， 节省了大量人工标注成 本， 提升了效率。 权利要求书5页 说明书13页 附图5页 CN 115496941 A 2022.12.20 CN 115496941 A 1.基于知识增强计算机 视觉的结构健康诊断方法， 其特 征在于， 所述方法具体包括： 步骤一： 构建结构健康诊断层级图像数据集； 收集整理结构健康监测领域的多类型场景、 结构、 构件及损伤图像， 通过图像聚类算法 分析数据集的一般结构层次与级联关系， 构建具有层级关系的结构健康诊断图像数据集； 步骤二： 构建知识增强计算机 视觉识别网络模型； 以对比学习为骨架， 将健康监测领域的先验几何物理知识融入网络模型， 构建知识增 强计算机 视觉识别网络模型； 步骤三： 训练知识增强计算机视觉识别网络模型， 获得多类型场景、 结构、 构件及损伤 图像的通用分割头； 每次对模型输入一个批次的数据， 获得模型的输出， 使用综合损 失函数计算网络损 失 值； 使用误差反向传播算法获得网络损失对模型参数 的梯度， 使用梯度下降算法更新网络 参数； 如此循环往复， 不断进 行模型参数更新直至模型收敛， 获得多类型场景、 结构、 构件及 损伤图像的通用分割头； 步骤四： 移植通用分割头至预测网络模型， 利用考虑多类型几何约束的损 失函数训练 至收敛； 将由步骤三训练完成的通用分割头移植至预测网络模型， 利用考虑多类型几何约束的 损失函数训练预测网络模型至模型收敛， 然后冻 结网络参数， 将经过预处理后的待预测图 像送入预测网络模型， 得到预测网络模型的输出， 即为待预测图像的识别结果。 2.根据权利要求1所述的方法， 其特征在于， 在步骤一中， 构建的多类型场景、 结构、 构 件及损伤图像数据集在主体结构与构件、 构件与损伤之 间包含着空间关系、 层级关系、 相同 结构的多尺度信息、 以及不同结构与构件位置 关系信息； 数据集由场景、 结构、 构件、 损伤四 个大类构成； 场景类图像作为其他图像的背 景噪声， 单独形成一个集合； 结构由大视野整体 结构和单体结构 两个集合构成， 提供单个结构的整体信息； 构件划分为主梁、 桥台、 盖梁、 索 塔、 桥墩和拉索六类局部构件集合； 损伤划分混凝土裂缝、 钢筋裸露、 金属腐蚀、 混凝土麻 面、 钢箱梁裂缝和路面 坑槽六类结构损伤集 合。 3.根据权利要求1所述的方法， 其特征在于， 构建结构健康诊断层级图像数据集的具体 方法如下： (1)针对每 个拟定的小集 合手动选取一个初始中心样本； (2)利用K ‑means算法， 把图像数据集的每张图像分配到距离最近的中心样本的簇中， 然后重新计算每个簇的中心样本， 再迭代的进行图像分配和中心样本的更新， 直至每类簇 中心点的变化达 到无穷小， 或者达 到指定的迭代次数； (3)计算完成后的各簇即为构成结构健康诊断层级图像数据集的各个小集合， 以此完 成数据集的建立。 4.根据权利要求1所述的方法， 其特 征在于， 在步骤二中， 以对比学习为模型骨架， 模型骨架包括学生子网络和教师子网络两部分， 两个子网络 分别包括数据增强模块、 冻结的视觉骨干网络、 分割头、 L2正则化层四部分； 所述教师子网 络还包括额外的字典模块； 所述数据增强模块对不同层级图像数据集的数据采取不同的增强方式： 对于场景、 结 构和构件 大视野图像采用裁剪、 光照变换、 裁剪和色彩改变的增强策略， 对于损伤类图像采权　利　要　求　书 1/5 页 2 CN 115496941 A 2用旋转、 光照变换和色彩改变的增强方式； 冻结的视觉骨干网络基于DINO 网络预训练完成， 在学生子网络和教师子网络中采用的参数完全相同； 分割头的形式为由1 ×1卷积核构成的 前馈神经网络； 所述教师子网络的字典模块， 具体包括： (1)字典模块为 固定的队列大小， 大小为K， 且K远大于N， 其中存储了足够多的负样本特 征； (2)字典模块中 的样本特征(k1,k2,k3,k4,k5,…,kk)经由教师子网络缓慢更新的分割头 编码后通过L2正则化 生成； (3)字典在每一个训练批次后更新， 每次只更新N个样本， 当前批次的全部N个样本入 队， 最早入队批次的全部N个样本出队； 在学生子网络中设计了对比网络模块， 具体包括： (1)由学生子网络中的一对图像经过冻结的视觉骨干网络生成特征张量f和g， 然后计 算得到f和g的特 征相关张量F； (2)由冻结的视觉骨干网络生成的特征张量f和g在经过分割头后分别生成分割特征s 和t， 然后计算分割特 征s和t的分割相关张量S； (3)最后由特 征相关张量F和分割相关张量S计算得到互相关损失函数； 网络训练的目标函数为由对比网络模块的互相关损失函数和骨干网络模块的对比损 失函数构成的综合损失函数， 如下式所示： Loss＝α·Lcorr+(1‑α )·Lcont    (1) 式中， Loss为网络的综合损失函数； α为权重系数， 用以在网络的不同训练阶段调整子 模块的权重； Lcorr为张量F与张量S逐像素相乘后计 算得到的互相关损失函 数； Lcont为训练批 次图像经过学生子网络与教师子网络后的分割 特征在经过L2正则化层后逐一计算余弦相 似度得到的对比损失函数。 5.根据权利要求4所述的方法， 其特征在于， 构 成知识增强计算机视觉识别网络训练网 络综合损失函数的分项损失函数 具体包括： 所述互相关损失函数Lcorr定义为： 式中， b为超参数； 为经空间中心化操作后的特 征相关张量； Shwij为分割相关张量； 式中， fchw， gcij为经过骨干网络后得到的特征张量； Fhwij为从fchw， gcij计算得到的特征相 关张量； 为Fhwij经空间中心化操作后得到的特 征相关张量； 权　利　要　求　书 2/5 页 3 CN 115496941 A 3