(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210309109.8 (22)申请日 2022.03.28 (71)申请人 河海大学 地址 210024 江苏省南京市 鼓楼区西康路1 号 申请人 水利部交通 运输部国家能源局南京 水利科学研究院 (72)发明人 张丽丽　魏雅雪　王高旭　吴巍　 陈君　王慧斌　张轩　许怡　 李岱远　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 孟红梅 (51)Int.Cl. G06V 20/40(2022.01)G06V 20/52(2022.01) G06V 20/70(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于DCBFFNet的城市河道水上多目标检测 方法与系统 (57)摘要 本发明公开了一种基于DCBFFNet的城市河 道水上多目标检测方法与系统。 首先从视频流中 分别提取城市河道管理涉及水上对象的图像， 进 行降噪处理和标注， 构建目标检测数据集； 其次 构建对象尺度敏感的密集连接双向特征融合深 度学习模型DCBFFNet， 该模型构建了面向多对象 特性的特征层选择模块 以及基于多尺度特征的 密集双向特征融合模块， 并设计了面向对象 的多 层特征图锚框尺寸； 再基于最优的锚框尺寸和目 标检测数据集， 进行模型的迭代训练； 最后基于 训练好的模 型实现水上对象 的定位和类别预测。 本发明通过端到端的模型训练可实现从数据集 到目标检测的完整流程， 用于城市河道水上多目 标的定位和对象类别判断， 为城市河道健康管理 的及时响应提供智能化方法。 权利要求书4页 说明书10页 附图5页 CN 114973054 A 2022.08.30 CN 114973054 A 1.一种基于DCBF FNet的城市河道水 上多目标检测方法， 其特 征在于， 包 含以下步骤： (1)从视频流中分别提取城市河道管理涉及水上对象的图像， 包括瓶子类图像、 水草类 图像、 混合物类图像、 船只类图像， 使用限制对比度自适应直方图均衡化方法对采取的图像 进行降噪处理， 再利用矩形框对各类水上对 象进行位置和类别标签的语义标注， 构建目标 检测数据集； (2)构建一种对象尺度敏感的密集连接双向特 征融合深度学习模型DCBF FNet， 包括： 构建面向多对象特性的特征层选择模块， 分别研究数据集中每一类检测对象的尺度参 数与不同卷积层的感受野尺度参数及对应尺度下提取特征的差异性， 有针对性地选取模型 中需要融合的不同尺度、 不同分辨 率的特征图； 构建基于多尺度 特征的密集双向特征融合模块， 根据选择的不同尺度和不同分辨率的 特征图设计两种 不同结构的传输连接块TCM和TCB， 多个相互连接的传输连接块TCM和多个 相互连接的传输连接块TCB分别构建自上而下和自下而上 的两个互逆传输路径， 以选取 的 多层特征图为输入， 基于密集连接的方式分别完成自上而 下和自下而 上的特征传输及特征 融合； 设计面向多对象的多层特征图锚框尺寸， 利用原始图与不同特征图的采样映射关系， 采用聚类算法分别统计不同特征图上映射的各类水上对象矩形标注框的尺度分类， 确定选 取的各层特征图上的锚框尺寸， 其中聚类算法中的距离使用d＝1 ‑IoU(bboxes,anchor)表 示， 其中I oU(bboxes,anc hor)表示目标 标注框bboxes与锚框anc hor的交并比； 构建基于多尺度特征的目标检测模块， 以密集双 向特征融合模块的输出为输入， 对多 尺度、 多类别目标进行类别预测 和回归； (3)基于最优的锚框尺寸和构建的目标检测数据集， 对DCBF FNet模型进行迭代训练； (4)基于训练好的模型实现水 上各类对象的定位和类别预测， 并将检测结果可视化。 2.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法， 其特征 在于， 所述 步骤(2)中特 征图选取步骤 包括： (a)遍历整个检测数据集中包括瓶子类、 水草类、 船只类、 混合物类的各类水上对象的 标记框尺度， 分别以点状分布图的形式直观体现； (b)计算不同特征层的感受野大小， 并与(a)中获取的对象尺度进行比较， 选取感受野 与对象尺度相匹配的特 征层， 感受野公式如下： 其中， lk为第k层的感受野， lk‑1为第k‑1层的感受野， fk为第k层卷积核大小， si为第i层 的步长； (c)可视化(b)中获取的多个特征层， 比较不同卷积层获取的特征的差异性， 并从中选 取分别包 含对象细节信息和高级语义信息的五层特 征层。 3.根据权利要求2所述的一种基于DCBFFNet的城市河道水上多目标检测方法， 其特征 在于， 仅使用四层特征图作为检测特征图， 将 选取的特征图中尺度最大、 分辨率最高的一层 仅用于提供目标 特征， 不在该层进行分类回归。 4.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法， 其特征 在于， 所述步骤(2)中多个相互连接的传输连接块TCM和多个相互连接的传输连接块TCB间权　利　要　求　书 1/4 页 2 CN 114973054 A 2的密集连接采用的是选择连接的方式， 将包含低/高层特征的TCM/TCB逐次与包含高/低层 语义特征的TCM/TCB连接， 实现特 征跨层交 互； 不同层间特 征融合的过程表示 为： Xp＝Φp{Φf{Tk(Xk)}} 其中， Xk表示待融合 的特征图， Tk表示特征图进行上采样或降采样处理， 以保证特征融 合的尺度一致性； Φf表示特征融合的方式； Φp表示对融合后特征的卷积处理； 其中在特征 融合时采用同尺度相应通道上对应位置元 素相加的方式。 5.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法， 其特征 在于， 特征层选择模块由七组顺序连接的卷积结构和分类层、 回归层组成， 卷积结构用于特 征提取， 分类层和回归层实现 “背景‑目标”的二分类和回归； 经特征差异性分析后， 选取第 四至第七卷积结构输出的逐层递减的四层特征图C3、 C4、 C5、 C6作为检测特征图； 在密集双 向特征融合模块， 采用依次连接的第一、 第二、 第三传输连接块TCM自上而 下融合C6、 C5、 C4、 C3以及特征层选择模块中第三卷积结构输出的特征图； 其中第一传输连接块TCM以C6、 C5卷 积运算后的特征图为输入， 融合后输出至第二传输连接块TCM， 第二传输连接块TCM以C4卷 积运算后的特征图以及第一传输连接块TCM输出为输入， 融合后输出至第三传输连接块 TCM， 第三传输连接块TCM以C3、 C2卷积运算后的特征图以及第二传输连接块TCM输出为输 入， 融合后得到的特征图作为目标检测模块中第一尺度特征图； 第一传输连接块TCB以第三 传输连接块TCM输出以及第二传输连接块TCM输出作为输入， 融合后得到的特征图作为目标 检测模块中第二尺度特征图， 且另一路输出至第二传输连接块TCB， 第二传输连接块TCB以 第一传输连接块TCB输出以及三个传输连接块TCM输出逐元素融合特征作为输入， 融合后得 到的特征图作为目标检测模块中第三尺度特征图， 且另一路输出至第三传输连接块TCB， 第 三传输连接块TCB一路输入为第二传输连接块TCB输出， 另一路输入以三个传输连接块TCM 输出以及C6卷积运算输出逐元素融合特征作为输入， 融合后得到的特征图作为目标检测模 块中第四尺度特征图； 目标检测模块基于第一尺度至第四尺度特征图进 行多类别对象的检 测识别和回归。 6.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法， 其特征 在于， 所述步骤(2)中采用优化的K ‑means聚类算法分别统计不同特征图上映射的四类水上 对象矩形标注框的尺度分类， 确定选取的各层特征图上的锚框尺寸， 具体过程如下： 在各层 特征图下， 预选取不同K值， 并根据最大可能召回率参数， 比较不同K值下的聚类效果， 选取 该层最优K值， 基于各层获取 的最优K值下的聚类效果， 在不同特征图中设计不同数量和宽 高比的锚框； 基于最优K值获取的锚框 宽高比ar， 模型可计算得到锚框具体的宽高： 其中， m表示特征图的个 数； Smax， Smin分别表示锚框相对于图片的比例； Sk表示该特征层锚框相 对于图片的比例。 7.一种基于DCBF FNet的城市河道水 上多目标检测系统， 其特 征在于， 包括： 目标检测数据集构建模块， 用于从视频流中分别提取城市河道管理涉及水上对象的图权　利　要　求　书 2/4 页 3 CN 114973054 A 3