(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211008039.9 (22)申请日 2022.08.22 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 聂琳真　陆美合　尹智帅　 (74)专利代理 机构 湖北武汉 永嘉专利代理有限 公司 42102 专利代理师 李丹 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于智能车辆的多光谱行人检测方法 及系统 (57)摘要 本发明公开了一种基于智能车辆的多光谱 行人检测方法及系统， 包括： 1)将成对的可见光 与红外图像进行预处理； 2)将预处理后的红外图 像进行梯度计算， 获得边缘特征图， 获得补充边 缘特征的红外图像； 3)将成对的可见光与补充 边 缘特征的红外图像分别输入ResNet50网络进行 特征提取； 4)将两模态相同阶段的输出特征进行 相加融合， 得到融合特征； 5)将最高层的融合特 征进行高级语义特征提取， 获取高级语义信息； 6)对补充高级语义信息的融合特征图进行行人 位置信息增强处理； 7)对经过特征补充与增强的 不同尺度的融合特征图进行行人检测， 获得行人 检测结果。 本发 明对融合特征进行了信息补充与 增强， 取得了更好的检测效果。 权利要求书4页 说明书11页 附图4页 CN 115457456 A 2022.12.09 CN 115457456 A 1.一种基于智能车辆的多光谱行 人检测方法， 其特 征在于， 包括以下步骤： 1)将成对的可 见光与红外图像进行 预处理； 2)将预处理后的红外图像进行梯度计算， 获得边缘特征图， 并获得补充边缘特征的红 外图像； 3)将成对的可见光与补充边缘特征的红外图像分别输入ResNet50 网络进行特征提取， 并输出特征提取网络中不同阶段的特 征； 4)将两模态相同阶段的输出特征进行相加融合， 得到结构与ResNet50一致的融合特 征； 其中， 输出的特 征选择每阶段的最高层特 征； 5)将最后一个阶段的最高层的融合特 征进行高级语义特 征提取， 获取高级语义信息； 6)将步骤5)中的高级语义信息传给步骤4)中不同尺度的浅层融合特征， 并通过特征聚 合模块进行融合， 获取补充高级语义信息的融合特 征； 7)对融合特 征进行行人位置信息增强处 理， 以增强融合特 征图中行 人的位置信息； 8)对经过特征补充与增强的不同尺度的融合特征图进行行人检测， 获得行人检测结 果。 2.根据权利要求1所述的基于智能车辆的多光谱行人检测方法， 其特征在于， 所述步骤 2)中， 对红外图像进行梯度计算， 输出边 缘特征图， 具体如下： 2.1)任取经过数据 预处理后红外图像3通道中的其中一个通道作为梯度计算的原始图 像P； 2.2)使用Sobel 算子计算原 始图像P的横向和纵向的梯度； 以P代表原始图像， Gx及Gy分别代表经横向及纵向梯度计算得到的横向及纵向的边缘特 征， 其公式如下： 采用以下的公式合并横向及纵向的边 缘特征， 获取边 缘特征图G： 2.3)获取边缘特征图G后， 将边缘特征图与经预处理后3通道的红外图像进行拼接， 得 到补充边 缘特征的4通道红外图像； 2.4)4通道红外图像经 过一个3×3的卷积将通道数变成3以适应特 征提取网络的输入。 3.根据权利要求1所述的基于智能车辆的多光谱行人检测方法， 其特征在于， 所述步骤 3)中， 采用ResNet5 0网络为改进的ResNet5 0网络； 在原始ResNet50包含的{conv1,conv2_x,conv3_x,conv4_x,conv5_x}结构中， 将 conv4_x及conv5_x阶段内包含的标准卷积替换成可变形卷积； 所述可变形卷积为在原来的 标准卷积的计算位置上加入一个偏移， 使得卷积的形状不再是方形， 卷积的注意会随着感 兴趣的目标发生变化； 可变形卷积层的计算方式为： 权　利　要　求　书 1/4 页 2 CN 115457456 A 2其中， 是卷积规则网格上的采样点， w是卷积的权重， x是输入的特征图， p0是网格的中 心， pn遍历 中的各个采样点的位置， Δpn是网络所学习到的每个采样点的偏移量， 偏移后 的采样位置是pn+Δpn， 此外通过添加权重系数Δ mn来区分引入的区域是否为 感兴趣目标的 区域， 假如卷积对这个采样点的区域 不感兴趣， 则把权 重系数设置为0 。 4.根据权利要求1所述的基于智能车辆的多光谱行人检测方法， 其特征在于， 所述步骤 5)中， 将最高层的融合特 征进行高级语义特 征提取， 获取高级语义信息， 具体如下： 5.1)将最高层的融合特 征conv5_x_f进行 金字塔池化获取高级语义特 征f1； 5.1.1)将融合特征conv5_x_f依次输入4个尺度的池化层子分支， 池化层分支将特征图 分成不同的子区域并形成不同的池化特征表示， 4个池化层子分支输出特征图的空间大小 分别为1×1,2×2,4×4,6×6； 5.1.2)当输入特征通道为N时， 在每个池化的特征后使用1 ×1卷积层将特征的通道数 降低到N/4； 5.1.3)降维后的特征通过双线性插值进行上采样， 得到与融合特征conv5_x_f大小相 同的特征， 并将不同分支的特征进行拼接， 得到金字塔池化后 最终的输出特征f1， f1的尺度 及通道数与输入特 征一致。 5.根据权利要求1所述的基于智能车辆的多光谱行人检测方法， 其特征在于， 所述步骤 5)中， 将最高层的融合特 征进行高级语义特 征提取， 获取高级语义信息， 具体如下： 5.2)将最高层的融合特 征conv5_x_f进行交叉注意处 理获取高级语义特 征f2； 5.2.1)输入 特征图 在conv5_x_f上应用两个1 ×1卷积层， 分别生 成两 个特征图Q和K， 其中 其中， 表示输入特征图， W表示输入特征图的宽度， H表示输入特征图的高度， C和C'是 通道数， 通过降维计算后通道数C'小于通道数C； 5.2.2)在Q的空间维度上的每个位置u， 得到一个向量 在K中与位置u在同一行 及同一列的位置提取 特征向量获得集 合 计算交叉位置上两元 素的关联度； 是Ωu的第i个元 素， 关联度计算的公式如下： 其中， di,u∈D是特征Qu和Ωi,u之间的关联度， i ＝[1,...,H+W‑1]， 5.2.3)对关联度集 合D应用softmax层计算注意图A； 5.2.4)在conv5_x_f上施加另一个1 ×1卷积层以产生 用来调整特征； 在V的空 间维度上的每个位置u得到一个向量 和一组集合 集合Φu是V中与位置 u在同一行或列中的特 征向量的集 合， 通过以下公式可收集 最高层融合特 征的上下文信息： 其中， [conv5_x_f] ′u是 在位置u处的特征向量， Ai,u是A中通道i和位 置u处的注意力标量值； 将上下文信息[conv5_x_f] ′u添加到特征[conv5_x_f]u中能够增强权　利　要　求　书 2/4 页 3 CN 115457456 A 3