(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210332328.8 (22)申请日 2022.03.30 (71)申请人 鲁江坤 地址 400712 重庆市北碚区歇马街道云泰 路2号2栋2单 元802 (72)发明人 鲁江坤　 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/10(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/32(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 7/55(2017.01) G06T 7/80(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 17/16(2006.01) (54)发明名称 一种基于特征融合的双通道SSD行人检测方 法 (57)摘要 本发明公开了一种基于特征融合的双通道 SSD行人检测方法， 包括以下步骤： 1)对待处理的 双目原始图像进行图像校正； 2)利用双目匹配算 法对校正 之后的图像进行处理； 3)利用Concat或 Eltwise特征融合的方式构建最优 的双通道SSD 行人检测方法； 4)利用改进之后的双通道SSD行 人检测方法学习行人头部信息； 使用图像校正方 法为了解决双目相机安装 过程中存在的误差； 利 用双目匹配算法能够得到相应的图像深度信息； 使用特征融合的方式可以得到最优的双通道SSD 行人检测方法， 最后利用改进方法学习更多的头 部特征， 改善光照变化和遮挡导致的漏检问题， 提高密集场景 下行人检测精度。 权利要求书1页 说明书5页 附图1页 CN 114694179 A 2022.07.01 CN 114694179 A 1.一种基于特 征融合的双通道S SD模型行人检测方法， 其特 征在于， 包括以下步骤： U1、 利用图像校正方法对待处 理的原始双目图像进行 校正； U2、 利用基于TADG ‑FCensus的半全局立体匹配算法处 理校正后的双目图像； U3、 利用Concat或Eltwise融合彩色图像和深度图像分层信息， 构建最优的双通道SSD 模型； U4、 利用改进的双通道S SD模型， 进行 特征融合方式学习行 人头部特征信息； 所述U4步骤中， 首先计算反卷积， 提取更详细的边缘信息， 然后对特征图进行叠加操 作， 最后进行 特征层融合， 包括以下步骤： U4.1、 首先提取Conv4_3_Fuse层的特征图， 作为候选区域； 然后将Conv4_3_Fuse层进行 反卷积计算， 得到DConv4_3_Fuse层； 最后对DConv4_3_Fuse层进行池化计算， 可减少该层特 征向量的输出， 使DConv4_3_Fuse层输出特征图的大小仍为38 ×38， 防止过拟合。 根据 VGG16 网络可知Co nv4_3特征图的尺寸大小为38 ×38， 反卷积的输入输出； i＝(o‑1)×s+k‑2×p 式中， i和o分别代表输出与输入特征 图的尺寸； 设步长s＝2； 设卷积核k＝1； p为填充， 令padding＝0。 经过反卷积计算后的特征图的尺寸为75 ×75， 与SSD网络中的Conv3_3特征 图的尺寸大小相同。 U4.2、 虽然网络的高层含有丰富的语义信息， 但是Conv10_2_Fuse和Conv11_2_Fuse特 征图尺寸为3和1， 可融合特征较少， 因此将Conv11_2_Fuse上采样与Conv10_2_Fuse特征图 进行add叠加操作， 叠加 后的特征层通过上采样操作得到MConv10_2_Fuse层， 即得到与池化 后的DConv4_3_Fuse层具有相同尺寸大小的特 征图。 U4.3、 将DConv4_3_Fuse特征图和MConv 10_2特征图采用Concat方式进行连接， 并进行1 ×1的卷积操作， 即得到新的MDConv4_3_Fuse层， 代替原来的Conv4_3层作为网络的输出， 充 分地学习行 人头部的特征。权　利　要　求　书 1/1 页 2 CN 114694179 A 2一种基于特征融合的双通道 SSD行人检测方 法 技术领域 [0001]本发明涉及一种行人检测方法， 尤其是一种基于特征融合的双通道SSD行人检测 方法， 属于智能监控领域。 背景技术 [0002]行人检测是采用检测算法将图像中的所有行人检测出来， 为后续行人的跟踪提供 数据支撑， 对最 终行人计数结果起着至 关重要的作用。 传统行人计数方法有人工计数、 红外 传感器和压力计数器等， 其获取 的客流量信息为公共交通、 娱乐场所以及商业等领域的控 制管理提供了重要的参考数据。 但是也存在一定的局限性， 尤其在人流量较大的情况下， 容 易产生漏检现象， 难以获取较高精度的客流量信息。 为了对客流量进 行准确地统计， 基于视 频分析的行人计数统计方法始崭露头角， 其以实现方式简单和统计精确度高等优势， 引起 了广泛的关注和研究。 [0003]基于视频分析的客流统计方法大都采用单目客流量统计， 其计算简单、 成本较低， 但单目相机采集的图片缺乏场景的深度信息， 通常需要模板匹配等方法才能得到目标的位 置信息， 此方法对光线变化和遮挡比较敏感， 容易出现漏检和误检现象。 而双目相机通过左 右相机之间的成像关系 可以计算 目标和相 机间的距离， 获取目标的深度信息和位置信息， 能够有效克服监控场景中光照变化和遮挡的影响。 相 较于单目客流量统计， 基于双目立体 视觉的客流量统计更 具有可行性， 已经成为智能监控领域的一个重要研究对象。 [0004]行人检测算法主要包括基于轮廓和基于颜色模型的检测方法， 随着深度学习算法 的迅速发展， 采用深度学习技术实现行人的检测得到了广泛的关注与研究， 其分为Two ‑ stage和One ‑stage行人检测算法。 Two ‑stage系列算法是通过对 行人进行定位， 得到候选区 域， 再对行人进行识别和分类， 如R ‑CNN、 SPP‑Net、 Fast  R‑CNN以及Faster  R‑CNN。 这些方法 虽然采用选择性搜索与改进RPN的方式来提高行人的检测精度， 但由于行人姿态各不相同， 易受外界干扰， 导致检测准确率较低。 One ‑stage检测算法， 即YOLO和SSD算法应运而生。 其 中， YOLO算法就是将检测问题视为回归问题进 行处理， 可直接输出行人的类别与位置信息； SSD算法则是将Faster  R‑CNN网络中的框定机制与YOLO网络中的回归思想相结合， 利用不 同输出层的多尺度特 征图来检测行 人。 [0005]在智能监控领域， 目前行人检测算法大都是对彩色图像进行处理， 在光照变化和 遮挡的影响下， 只对 单一图像进 行处理仍存在一定局限。 因此， 一种基于特征融合的双通道 SSD行人检测方法具有重要研究意 义的。 发明内容 [0006]针对现有技术中存在的问题与不足， 本发明提出一种基于特征融合的双通道SSD 行人检测方法， 以提高光照和遮挡条件下的行 人检测精度。 [0007]按照本发明提供的技术方案， 一种基于特征融合的双通道SSD行人检测方法， 包括 以下步骤：说　明　书 1/5 页 3 CN 114694179 A 3