(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210453322.6 (22)申请日 2022.04.27 (71)申请人 南京国电南自轨道交通工程有限公 司 地址 210009 江苏省南京市 鼓楼区新模范 马路38号 (72)发明人 肖振远　宗起振　陶征勇　李佑文　 褚红健　曾清旋　 (74)专利代理 机构 南京知识律师事务所 32 207 专利代理师 张宇 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G01R 31/327(2006.01) (54)发明名称 一种联合局部特征和全局特征的R-FCN刀闸 检测方法 (57)摘要 本发明提供了一种联合局部特征和全局特 征的R‑FCN刀闸检测方法， 该方法基于深度学习 网络模型R ‑FCN对变电站 的刀闸进行状态检测。 通过对变电站辅助监控系统嵌入网络摄像机集 控软件实现相机多位置、 多角度在不同室外天气 环境、 背景的刀 闸图像采集， 构建多样性的刀闸 数据； 通过对R ‑FCN输出预测网络并联融入全局 特征预测模块， 补充原始网络只通过局部特征预 测刀闸产生的感受野不足缺陷， 提升对部分遮挡 的刀闸检测准确率， 降低对复杂背景中刀闸的漏 检率和误检率； 通过对局部特征预测结果和全局 特征预测结果正则化后进行预测结果累加， 实现 全局特征预测结果对局部特征预测结果的补充， 满足变电站刀闸远程检测 和无人化值守的需求。 权利要求书2页 说明书5页 附图2页 CN 114821042 A 2022.07.29 CN 114821042 A 1.一种联合局部特 征和全局特 征的R‑FCN刀闸检测方法， 其特 征在于， 包括以下步骤： 步骤1： 搭建变电站辅助监控系统， 从不同的相机角度和不同时刻的天气情况对目标进 行图像采集； 步骤2： 对步骤1采集的图像划分为训练集图像、 测试集图像， 并对图像数据集进行清洗 以及标注； 步骤3： 构建具有联合局部特征和全局特征的R ‑FCN刀闸检测模型： 调整R ‑FCN主干特征 提取网络： 采用分类网络ResNet101作为主干特征提取网络， 在ResNet101第四组卷积层后 使用区域建议网络RPN操作产生 感兴趣区域， 抛弃使用ResNet101第五组卷积层后面的池化 层和全连接层； 步骤4： 基于步骤3调整的主干特征提取网络， 输出的通道数为2048个， 在其后面附加卷 积核大小为1 ×1的卷积层将通道数降低为1024个； 步骤5： 构建局部特征预测分支： 基于步骤4操作， 将提取的语义特征信息分两个方向进 行并联预测： 基于原始网络的局部特征预测和全局特征 的预测， 局部特征预测直接采用原 始预测网络模型输出局部预测结果； 步骤6： 构建全局特征预测分支： 全局特征预测基于步骤4操作提取的语义特征， 首先对 提取的语义特征进行池化操作， 统一提取的语义特征大小； 然后， 串联使用卷积核大小为7 ×7和1×1的卷积层输出全局预测结果； 步骤7： 融合局部预测结果和全局预测结果： 对局部预测结果和全局预测结果进行正则 化， 统一缩放至同一数值区间 并进行相加， 完成信息融合预测； 步骤8： 训练模型： 模型训练使用的损失函数选择与R ‑FCN网络相同的损失函数， 用于指 导模型参数的优化； 网络训练参数 更新至损失函数收敛， 保存网络模型。 2.根据权利要求1所述的一种联合局部特征和全局特征的R ‑FCN刀闸检测方法， 其特征 在于： 所述步骤1中的辅助监控系统是 由多个网络摄像机组合对变电站各角度实行全面覆 盖、 实时监控， 所述辅助监控系统嵌入相 机集控程序， 通过多个网络摄像机实现不同角度、 不同背景、 不同天气因素的数据采集。 3.根据权利要求1所述的一种联合局部特征和全局特征的R ‑FCN刀闸检测方法， 其特征 在于： 所述步骤2中的清洗数据集具体为： 将相机震动造成的模糊图像进行剔除， 将包含刀 闸的图像归为 一个数据集， 将未包 含刀闸但存在类似刀闸的图像归为 一个数据集。 4.根据权利要求1所述的一种联合局部特征和全局特征的R ‑FCN刀闸检测方法， 其特征 在于： 所述 步骤5中的局部特 征预测是将RPN建议区域划分为7 ×7个局部区域进行 预测。 5.根据权利要求1所述的一种联合局部特征和全局特征的R ‑FCN刀闸检测方法， 其特征 在于： 所述步骤7中的融合局部预测结果和全局预测结果具体为： 使用正则化方式分别对局 部预测结果和全局预测结果进行正则化， 且使用的是L2正则化， 数学表达式为： 式中x、 y为向量， x＝(x0,x1,x2...xn),表示预测输出结果,y＝(y0, y1,y2...yn)， 表示正则化预测输出 结果， 最终将预测结果数值统一缩放至 0到1区间。 6.根据权利要求6所述的一种联合局部特征和全局特征的R ‑FCN刀闸检测方法， 其特征 在于， 使用的融合方式为： 对相同维度的向量相加。 7.根据权利要求1所述的一种联合局部特征和全局特征的R ‑FCN刀闸检测方法， 其特征权　利　要　求　书 1/2 页 2 CN 114821042 A 2在于： 所述步骤8中模型训练使用的数据分为两种： 包含刀闸的清晰数据集和混乱困难容易 样本比例为1： 1的模糊数据集。 8.根据权利要求7所述的一种联合局部特征和全局特征的R ‑FCN刀闸检测方法， 其特征 在于： 所述训练模型具体为： 训练时使用迁移学习思想， 对主干特征提取网络采用再 ImageNet数据集上训练好的模型权重； 所述清晰数据集指的是所有训练图像至少包含一个 刀闸图像， 所述模糊数据集指的是包含刀闸图像和未包含刀闸且类似刀闸的图像各占 50％。 9.根据权利要求7所述的一种联合局部特征和全局特征的R ‑FCN刀闸检测方法， 其特征 在于： 所述训练模型:训练使用的损失函数 数学表达式为： 其中L(s,t)表示分类损失和回归损失的总损失， s为类 别预测概率， 表示类别c*的预测概率， t表示模型预测的回归框， Lcls(s)为分类损失， λ多 任务平衡因子， c*为类别真实标签， Lreg(t,t*)为回归损失， t*表示人工标注的真实框 。权　利　要　求　书 2/2 页 3 CN 114821042 A 3