(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211290886.9 (22)申请日 2022.10.21 (71)申请人 国网山东省电力公司威海供电公司 地址 264200 山东省威海市环翠区昆明路 23号 (72)发明人 乔学明　陈豪　郭聃　许明　 尹明立　乔琳霏　夏迎雪　李童心　 李玉文　勇群　孙海峰　宫宝凝　 刘振华　李双超　 (74)专利代理 机构 威海科星专利事务所 37202 专利代理师 李沫 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进的BETR模型的光伏板红外图 像热斑检测方法 (57)摘要 本发明提出一种基于改进的BETR模型的光 伏板红外图像热斑检测方法， 包括步骤1、 采集光 伏板图像及光伏板红外热斑图像； 步骤2、 处理上 述图像， 利用处理后的图像分别构建第一、 二光 伏板数据集和光伏板红外热斑数据集； 步骤3、 构 建改进的BETR模型； 步骤4、 利用第一光伏 板数据 集对改进的BETR模型进行预训练， 利用迁移学习 的思想用光伏板红外热斑数据集和第二光伏板 数据集对预训练后的BETR模型进行正式训练得 到优化的BETR模型； 步骤5、 利用优化的BETR模型 对新图像进行识别， 对识别得到的光伏板红外热 斑的大小进行分类， 统计每一类热斑的数量和位 置信息， 统计光伏板数量， 将结果整合输出。 上述 方法对小目标的物体识别精度高， 且能够统计光 伏板的数量。 权利要求书3页 说明书7页 附图3页 CN 115546670 A 2022.12.30 CN 115546670 A 1.一种基于改进的BETR模型的光伏板红外图像热斑检测方法， 其特征在于： 包括以下 步骤： 步骤1、 通过 无人机采集 光伏板图像以及光伏板红外热斑图像； 步骤2、 对光伏板图像以及光伏板红外热斑图像均进行数据增强处理， 利用处理后的光 伏板图像构建用于预训练的第一光伏板数据集， 利用处理后的光伏板红外热斑图像和光伏 板图像分别构建用于正式训练的光伏板红外热斑数据集和第二 光伏板数据集； 步骤3、 构建改进的BETR模型： 利用特征金字塔代替原BETR模型中特征提取的主干网 络； 对位置编码 器进行改进以增强对二 维图像特征位置的记录能力； 对 FFN前馈网络进 行改 进以提高改进的BETR模型在训练时的收敛速度； 步骤4、 利用步骤2得到的第一光伏板数据集对改进 的BETR模型进行预训练， 之后利用 迁移学习的思想， 利用步骤2得到的光伏板红外热斑数据集和第二光伏板数据集对预训练 后的BETR模型进行正式训练， 以对参数进行微调， 得到优化的BETR模型； 步骤5、 利用步骤4得到的BETR模型对新采集的光伏板红外热斑图像和光伏板图像进行 识别， 对识别得到的光伏板红外热斑的大小进行分类， 统计每一类的热斑的数量和 位置信 息， 并且统计光伏板的数量， 将结果整合输出。 2.根据权利要求1所述的基于改进的BETR模型的光伏板红外图像热斑检测方法， 其特 征在于： 在所述步骤2中， 数据增 强处理过程如下： 利用图像卷积算子 对图 像进行锐化处 理， 将图像卷积算子和图像进行 卷积操作， 计算过程描述如下： 其中a′为0到2的整数， b ′为0到2的整数， Kernel(a， b)是输入的图像卷积算子， csr(a， b)是输入的图像， 指光伏板图像或光伏板红外热斑图像， 对卷积操作后得到的图像进行翻 转或大小尺度变换 处理， 其中对卷积操作后得到的图像进 行大小尺度变换 处理是将图像的 像素值大小变换到2 40～678之 间， 之后对翻转 或大小尺度变换处理后得到的图像进 行多尺 度滑动窗口采样 操作。 3.根据权利要求2所述的基于改进的BETR模型的光伏板红外图像热斑检测方法， 其特 征在于： 在所述步骤3中， 利用特征金字塔替换原BETR模型中用于特征提取的ResNet ‑50网 络， 特征金字塔负责将图像的特征进 行提取， 首先通过5个卷积层Conv1～Conv5提取图像特 征， 之后通过上采样和concat拼接将{Conv2， Conv3， Conv4}分别 与FFB块得到的特征进行融 合， 之后再将{FFB， FFB}与{FFB2， FFB2}块得到的特征进行融合， 之后在进行特征融合之前 对金字塔层提取到的特征进行适应性特征池化操作， 将不同维度的特征统一到同一个维 度， 之后对 上述同一维度的各个特征进行特征融合， 最终得到一个D1*H*W1的特征， 其中D1表 示特征的维度， H和W1分别表示特 征的高和宽 。 4.根据权利要求3所述的基于改进的BETR模型的光伏板红外图像热斑检测方法， 其特权　利　要　求　书 1/3 页 2 CN 115546670 A 2征在于： 在所述步骤 3中， 对位置编码器进行如下改进， 对d1*HW1的特征中每个维度进行不同 的标记， 用segment  embedding∈{1， 2， 3...N1}标记特征的维度， 其中d1*HW1的特征是利用 一个1*1的卷积层将高维的特征降低到一个更小的维度d1而得到的， 所述高维的特征指的 是D1*H*W1的特征； 使用position  embedding标记同一维度上的各个图像特征的位置编码信 息， positi on embedding公式表示如下： 其中， P表示位置编码信息， p表示当前特征在输入中的位置， 2i用来表示偶数位置， 2i+ 1表示奇数位置， d表示位置编码信息的特征向量的长度； 之后将每个特征的segment   embedding和position  embedding进行相加得到该特征的位置标记信息， 最终将特征的位 置标记信息和该 特征的特征值进行相加得到编码器的输入特 征。 5.根据权利要求4所述的基于改进的BETR模型的光伏板红外图像热斑检测方法， 其特 征在于： 在所述步骤3中， 对 FFN前馈网络进行的改进如下： 使用ReLU6作为激活函数， 隐藏维 度数设计为d4维， 最后通过一个线性投影将 特征还原， 在映射层使用soft max函数预测目标 函数的类别， 最后输出 分类结果； 其中线性投影公式如下： y＝xW2+B， 其中W2表示参数矩阵， B 表示偏置矩阵， x表示输入， y表示输出。 6.根据权利要求5所述的基于改进的BETR模型的光伏板红外图像热斑检测方法， 其特 征在于： 在所述步骤4中， 利用第一光伏板数据集对改进的BETR模型进行预训练， 设置初始 学习率为 1e‑2， 设置学习率随着迭代次数的不断增加而减小； 当改进的BETR模 型收敛后， 利 用光伏板红外热斑数据集和第二光伏板数据集对 预训练后的BETR模 型进行正式训练， 训练 策略是先冻结主干网络， 当改进的BETR模型收敛后再解冻主干网络， 再次对BETR模型进行 训练， 对BETR模型的主干网络参数进行微调， 得到优化的BETR模型； 其中， 在所述 步骤4中， 训练过程中， BETR模型使用的整体损失函数L如下： 其中β， α， K表示三个超参数， Liou表示iou的计算函数， || ·||表示范数计算， ai表示第i 个预测类框和实际框的交集， aγ(i)表示第i个预测类框和实际框的并集， 表示辅助 损失函数； Liou的计算函数表达式为： 其中 表示面积计算， B(.)表示max/mi n的计算函数； 利用辅助损失函数 帮助transformer的解码器校正输出结果， 其表达式如下： 其中n表示二进制目标掩码， 表示BETR模型的原始掩码 逻辑预测， relu表示激活函数。权　利　要　求　书 2/3 页 3 CN 115546670 A 3