(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210397810.X (22)申请日 2022.04.15 (71)申请人 国网江西省电力有限公司超高压分 公司 地址 330000 江西省南昌市青山湖区民营 科技园高新大道 980号 申请人 国家电网有限公司 　 珠高智能科技 （深圳） 有限公司 (72)发明人 徐波　李福德　李志坤　钟成　 夏祥波　林谋　 (74)专利代理 机构 南昌丰择知识产权代理事务 所(普通合伙) 36137 专利代理师 吴称生 (51)Int.Cl. G06V 10/24(2022.01)G06V 10/20(2022.01) G06V 10/774(2022.01) G06V 10/25(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于尺度上下文的变电站图像目标检测方 法 (57)摘要 本发明公开了一种基于尺度上下文的变电 站图像目标检测方法， 采用基于仿射变换的数据 增强和随机增强策略完成数据集扩充， 得到数据 增强后的训练集； 采用经过预训练的VGG ‑16模型 作为特征提取网络， 每张输入图像在一系 列卷积 及池化后， 得到不同尺寸的卷积特征图； 使用区 域提名网络进行候选框提取， 得到感兴趣区域； 将感兴趣区域映射到特征提取网络的卷积特征 图上， 并对其对应区域进行感兴趣区域池化， 再 通过两层全连接层， 输出融合特征； 对输出的融 合特征进行分类和定位， 在分类时， 采用Soft ‑ NMS算法去除冗余框。 本发明采样数据增强、 锚框 尺度调整策略， 在可见光数据集以及红外数据集 上分别证明了所提方法的有效性。 权利要求书2页 说明书13页 附图2页 CN 114882208 A 2022.08.09 CN 114882208 A 1.一种基于尺度上 下文的变电站图像目标检测方法， 其特 征是， 包括以下步骤： 步骤一、 数据预处理： 采用基于仿射变换的数据增强和随机增强策略完成数据集扩充， 得到数据增强后的训练集； 步骤二、 特征提取:采用经过预训练的VGG ‑16模型作为特征提取网络， 每张输入图像在 一系列卷积及池化后， 得到不同尺寸的卷积特 征图； 步骤三、 提取感兴趣区域:使用区域提名网络进行候选框提取， 得到感兴趣区域； 区域 提名网络首先对特征提取网络的最后一层卷积特征图进行滑窗操作， 在每个窗口的中心 位 置生成一系列锚框； 利用基于K ‑means的锚框尺度制定策略， 通过对训练集标注文件中矩形 包围框的长、 宽进行于K ‑means聚类得到数据分布， 从而调整锚框尺度； 步骤四、 多尺度 特征融合： 将 感兴趣区域映射到特征提取网络的卷积特征图上， 并对其 对应区域进行感兴趣区域池化， 再通过两层全连接层， 输出融合特 征； 步骤五、 分类和定位： 对输出的融合特征进行分类和定位， 在分类时， 采用Soft ‑NMS算 法去除冗余框 。 2.根据权利要求1所述的基于尺度上下文的变电站图像目标检测方法， 其特征是， 所述 VGG‑16模型包括6层卷积池化层， 依次为： Conv1_3层、 Conv2_3层、 Conv3_3、 Conv4_3层、 Conv5_3层、 Conv6_3层， 输入图像在进行6组卷积、 池化操作后， 得到不同尺寸的卷积特征 图。 3.根据权利要求2所述的基于尺度上下文的变电站图像目标检测方法， 其特征是， 步骤 三中， 在Conv5_3输出的卷积特征图上， 利用区域提名网络进行候选框提取， 得到感兴趣区 域， 通过感兴趣区域池化层将感兴趣区域坐标分别映射到不同层级的卷积特征图上， 得到 对应区域的Ro I映射卷积特 征图。 4.根据权利要求3所述的基于尺度上下文的变电站图像目标检测方法， 其特征是， 步骤 四中， 将Conv4_3层和Conv5_3层的RoI映射卷积特征图分别作为第一全连接层的输入， 进行 一次全连接操作， 得到两个1 ×1×2048的特征向量， 然后拼接成为一个1 ×1×4096的融合 特征， 再经过第二全连接层， 输出到分类回归网络进行最终的分类和定位。 5.根据权利要求4所述的基于尺度上下文的变电站图像目标检测方法， 其特征是， 步骤 五中， Soft ‑NMS算法的重评分过程用一个连续的罚函数来表达， 在预测 框不重叠的情况下 不惩罚， 在高重 叠情况下有很高的惩罚， 将置信度构建为关于交并比的函数： 其中， si表示当前预测框的置信度评分， IoU(B,bi)表示预测框bi与评分最大框B的面积 交并比， P表示 最终预测框的集 合， e为自然对数， σ 为罚函数系数。 6.根据权利要求1所述的基于尺度上下文的变电站图像目标检测方法， 其特征是， 步骤 一中， 采用的主要仿射变换方式包括： 缩放、 旋转、 翻转、 平移、 尺度变换以及插值； 为了扩 大 设备矩形包围框尺 寸的范围， 将图像随机缩放至原图尺寸的80％到120％之间； 为了增加设 备矩形包围框高宽比的丰富性， 对图像进行 ±30°范围以内的随机旋转； 另外， 对随机50％ 的图像进 行镜像翻转； 对随机20％的图像进 行垂直翻转； 在原图像宽度的五分之一范围内， 将图像随机进行向左或向右平移； 对图像按照指定的尺度 因子进行放大或缩小， 或利用指 定的尺度因子对图像滤波构造尺度空间以改变图像内容的大小或模糊程度； 随机使用最临权　利　要　求　书 1/2 页 2 CN 114882208 A 2近插值或双线性差值对空白处进行补齐， 使得增强后的图像尺寸与原图尺寸相等； 在仿射变换的基础上， 通过随机增强策略， 将训练样本图像通过包括但不限于模糊、 加 噪、 颜色空间转换、 随机遮挡 、 随机擦除继续做数据增强处 理。 7.根据权利要求1所述的基于尺度上下文的变电站图像目标检测方法， 其特征是， 基于 K‑means的锚框尺度制定策略具体为： 假设簇划分为(C1,C2,…Ci…Ck)， 用 μi表示簇Ci的均值 向量， 则K ‑means聚类目标就是最小化平方误差E； 聚类结果图像由XY轴坐标系构成， 每一点 对应一个目标样 本点， 其横坐标代表目标宽度， 纵坐标代表目标高度； 每一样本点与 原点之 间连线的斜率表征了该目标的高宽比； 计算各个簇中心点与坐标轴原点的连线的斜率， 离 散地选择合适的斜率值， 使用尽量少的值覆盖更多的样本点； 每一样本点横纵坐标 的乘积 表征该目标矩形包围框的面积； 对簇中心横、 纵坐标值之积开平方根， 得到样本的尺寸分布 从而调整锚框尺寸； 设样本点横、 纵坐标分别为x和y， 则锚框高宽比和尺寸的设置算法可以分别用分段函 数A(x,y)和S(x,y)来表达： 其中， N表示设置N种不同高宽比的锚框， M表示设置M种不同尺寸的锚框。 n＝1,2, …N,m ＝1,2,…M， kn表示锚框高宽比的离散取值， sn表示锚框尺寸的离散取值， αn表示锚框高宽比 的离散取值 间隔， βn表示锚框尺寸的离散取值间隔； 根据不同数据集聚类结果， 通过实验调 整N,M,kn,sn, αn, βn的数值， 使得离散取值区间划分合理， 满足尽量多的样本点； 其中， 当n>1 时， kn‑1+αn‑1＝kn‑αn， 当m>1时， sm‑1+βm‑1＝sm‑βm。权　利　要　求　书 2/2 页 3 CN 114882208 A 3