(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210162184.6 (22)申请日 2022.02.22 (71)申请人 湖南中科助英智能科技研究院有限 公司 地址 410000 湖南省长 沙市岳麓区桐梓坡 路96号 (72)发明人 谢剑斌　刘祥卿　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 李杨 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/40(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/269(2017.01) (54)发明名称 一种弱对比度环 境下无人机鲁棒检测方法、 装置和设备 (57)摘要 本申请涉及一种弱对比度环境下无人机鲁 棒检测方法、 装置和设备。 所述方法包括： 通过对 弱对比环境下无人机的运动视频进行抽帧预处 理， 将每一帧图像中的无人机目标进行标注用于 模型训练； 将所有帧图像输入双流网络模型中； 双流网络模型包括ResNet50网络、 FlowNetS网 络、 RF模块、 ACFM模块和PDC模块； 对网络进行训 练， 得到训练好的双流网络模型， 用于弱对比环 境下视频无人机目标的检测。 本发 明采用双流网 络并行的架构， 可充分获取时空特征， 提出了一 个端到端可训练的框架， 可同时预测像素的前景 对象分割和光流； 对低层、 中层、 高层特征分别进 行增强处理， 引入了PDC模块使最终获得的目标 更加清晰。 权利要求书3页 说明书10页 附图3页 CN 115311579 A 2022.11.08 CN 115311579 A 1.一种弱对比度环境下 无人机鲁棒检测方法， 其特 征在于， 所述方法包括： 获取弱对比环境下无人机的运动视频， 对所述运动视频进行抽帧预处理后得到帧图 像， 将每一帧图像中的无 人机目标进行 标注得到GT图像； 将所有帧图像输入用于无人机目标检测的双流网络模型中； 所述双流网络模型包括 ResNet50网络、 Fl owNetS网络、 RF模块、 ACFM模块和P DC模块； 通过所述ResNet50网络对任一帧图像进行特征提取， 得到低层特征、 中层特征和高层 特征； 对所述低层特 征进行边界边 缘特征增强得到低层增强特 征； 通过所述FlowNetS网络根据当前帧图像和下一帧图像进行光流计算， 得到光流特征； 所述光流特征分别与所述中层特征和所述高层特征进行特征融合后得到中层融合特征和 高层融合特 征； 通过所述RF模块对所述中层融合特征和所述高层融合特征进行特征增强， 得到 中层增 强特征和高层增强特 征； 通过所述ACFM模块引入多尺度通道注意力机制对所述高层增强特征进行跨层面特征 融合， 得到高层增强融合特 征； 通过所述PDC模块根据所述低层增强特征、 中层增强特征和所述高层增强融合特征进 行处理， 减少相邻特征差距， 输出 无人机目标图像； 根据所述GT图像中标注的无人机目标和所述双流网络模型输出的无人机目标图像， 对 所述ResNet5 0网络和所述Fl owNetS网络进行训练， 得到训练好的双流网络模型； 将待检测的弱对比环境下无人机的运动视频进行抽帧预处理后输入所述训练好的双 流网络模型， 输出 无人机目标检测结果。 2.根据权利要求1所述的方法， 其特征在于， 对所述低层特征进行边界边缘特征增强得 到低层增强特 征， 包括： 通过加权最小二乘滤波算法， 对所述低层特征进行平滑 处理， 增强边界边缘特征， 得到 低层增强特 征。 3.根据权利 要求2所述的方法， 其特征在于， 通过所述FlowNetS网络根据当前帧图像和 下一帧图像进行光 流计算， 得到光 流特征， 包括： 通过所述FlowNetS网络根据当前帧图像和下一帧图像进行光流计算， 得到光流特征； 所述FlowNetS网络有 多个卷积层， 包括降维编码模块和升维解码模块。 4.根据权利要求3所述的方法， 其特征在于， 通过所述RF模块对所述中层融合特征和所 述高层融合特 征进行特征增强， 得到中层增强特 征和高层增强特 征， 包括： 通过所述RF模块对所述中层融合特征和所述高层融合特征进行特征增强， 得到 中层增 强特征和高层增强特征； 所述RF模块分为5个支， 5个支都先进 行1×1卷积降维， 再将第一个 分支进行空洞数为3的空洞卷积， 第二个分支进行空洞数为5的空洞卷积， 第三个分支进行 空洞数为7的空洞 卷积， 将前四个分支的特征图拼接起来， 再采用一个1 ×1卷积降维， 最后 与第五个分支进行相加， 输出增强后的特 征图。 5.根据权利要求4所述的方法， 其特征在于， 通过所述ACFM模块引入多尺度通道注意力 机制对所述高层增强特 征进行跨层面特 征融合， 得到高层增强融合特 征， 包括： 通过所述ACFM模块引入多尺度通道注意力机制对所述高层增强特征进行跨层面特征权　利　要　求　书 1/3 页 2 CN 115311579 A 2融合， 得到高层增强融合特征； 所述多尺度通道注意力机制基于双分支结构， 一个 分支使用 全局平均池获取全局上 下文， 另一个分支保持原有特 征大小获取局部上 下文。 6.根据权利要求5所述的方法， 其特征在于， 通过所述PDC模块根据所述低层增强特征、 中层增强特征和所述高层增强融合特征进行处理， 减少相邻特征差距， 输出无人机目标图 像， 包括： 将所述低层增强特 征、 中层增强特 征和所述高层增强融合特 征输入所述P DC模块； 对所述低层增强特 征进行一次上采样， 再进行3 ×3卷积操作； 将卷积操作后的特征图与 所述高层增强融合特征进行乘法操作， 逐元素相乘减少相邻 特征之间的差距； 将乘法操作后的特 征图与所述中层增强特 征进行拼接， 输出 无人机目标图像。 7.根据权利要求6所述的方法， 其特征在于， 根据 所述GT图像中标注的无人机目标和所 述双流网络模型输出的无人机目标图像， 对 所述ResNet50网络和所述FlowNetS网络进行训 练， 得到训练好的双流网络模型， 包括： 冻结所述FlowNetS网络， 使用CAMO数据集对所述ResNet5 0网络进行训练； 冻结所述ResNet50 网络， 根据所述GT图像中标注的无人机目标和所述双流网络模型输 出的无人机目标图像， 对所述Fl owNetS网络进行训练； 得到训练好的双流网络模型。 8.根据权利要求1至7任意一项所述的方法， 其特征在于， 所述弱对比环境下无人机的 运动视频为无 人机目标与背景相似的无 人机运动视频。 9.一种弱对比度环境下 无人机鲁棒检测装置， 其特 征在于， 所述装置包括： 数据获取模块， 用于获取弱对比环境下无人机的运动视频， 对所述运动视频进行抽帧 预处理后得到帧图像， 将每一帧图像中的无 人机目标进行 标注得到GT图像； 数据输入模块， 用于将所有帧图像输入用于无人机目标检测的双流网络模型中； 所述 双流网络模型包括ResNet5 0网络、 Fl owNetS网络、 RF模块、 ACFM模块和P DC模块； 网络处理模块， 用于通过所述ResNet50网络对任一帧图像进行特征提取， 得到低层特 征、 中层特征和高层特征； 对所述低层特征进行边界边缘特征增强得到低层增强特征； 通过 所述FlowNetS 网络根据当前帧图像和下一 帧图像进行光流计算， 得到光流特征； 所述光流 特征分别与所述中层特征和所述高层特征进行特征融合后得到中层融合特征和高层融合 特征； 通过所述RF模块对所述中层融合特征和所述高层融合特征进行特征增强， 得到中层 增强特征和高层增强特征； 通过所述ACFM模块引入多尺度通道注 意力机制对所述高层增强 特征进行跨层面特征融合， 得到高层增强 融合特征； 通过所述PD C模块根据所述低层增强特 征、 中层增强特征和所述高层增强 融合特征进行 处理， 减少相 邻特征差距， 输出无人机目标 图像； 网络训练模块， 用于根据 所述GT图像中标注的无人机目标和所述双流网络模型输出的 无人机目标图像， 对所述ResNet50网络和所述FlowNetS网络进行训练， 得到训练好的双流 网络模型； 网络应用模块， 用于将待检测的弱对比环境下无人机的运动视频进行抽帧预处理后输 入所述训练好的双流网络模型， 输出 无人机目标检测结果。 10.一种计算机设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在权　利　要　求　书 2/3 页 3 CN 115311579 A 3