(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211029205.3 (22)申请日 2022.08.26 (71)申请人 温州旦光文具有限公司 地址 325000 浙江省温州市龙港市银苑 大 厦A座9楼F室 (72)发明人 赵小龙　韩中军　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 郭建明 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于信息融合的行 人检测方法及其系统 (57)摘要 本申请涉及行人智能检测的领域， 其具体地 公开了一种基于信息融合的行人检测方法及其 系统， 其通过基于深度学习的卷积神经网络模型 来挖掘出吊运装备现场非安全区域内的视觉传 感器获取的监控图像特征和毫米波雷达获取的 回波信号特征来综合对区域内的行人进行检测， 并且在特征融合的过程中， 应用衍生信息超凸度 量因数来作为损失函数进行训练以通过特征图 在高维空间内的内部元素子维度间的信息度量， 来进行高维特征的流形的超凸一致性衍生表示， 进而使得这两者的卷积神经网络模型能够对彼 此的特征提取能力进行迁移学习， 以提高分类的 准确性。 这样， 能够对于吊运装备现场的非安全 区域内的行人进行准确地检测， 以确保行人的安 全。 权利要求书2页 说明书12页 附图5页 CN 115424204 A 2022.12.02 CN 115424204 A 1.一种基于信 息融合的行人检测方法， 其特征在于， 包括： 训练 阶段， 包括： 通过部署于 吊运装备现场的视觉传感器获取监控图像； 通过部署于所述吊运装备现场的毫米波雷达获 取回波信号； 将所述监控图像通过第一卷积神经网络以获得第一特征图； 将所述回波信号 的波形图通过第二卷积神经网络以获得第二特征图； 融合所述第一特征图和所述第二特征 图以获得分类特征图； 将所述分类特征图通过分类器以获得分类损失函数值； 计算所述第 一特征图和所述第二特征图之间的衍生信息超凸度量因数， 其中， 所述衍生信息超凸度量 因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽 度维度、 高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置 的特征值间的差值沿着宽度维度、 高度维度和 通道维度的加权和； 以及计算所述分类损失 函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络 和所述第二卷积神经网络进行训练； 以及推断阶段， 包括： 通过部署 于吊运装备现场的视觉 传感器获取监控图像； 通过部署于所述 吊运装备现场的毫米波雷达获取回波信号； 将所述 监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图； 将所述回 波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图； 融合所述第 一特征图和所述第二特征图 以获得分类特征图； 以及将所述分类特征图通过分类器以获得 分类结果， 所述分类结果用于表示非安全区域内是否存在行 人。 2.根据权利要求1所述的基于信 息融合的行人检测方法， 其中， 将所述监控图像通过第 一卷积神经网络以获得第一特征图， 包括： 所述第一卷积神经网络的各层在层的正向传递 中对输入数据分别进 行： 对所述输入数据进 行基于二 维卷积核的卷积处理以生成卷积特征 图； 对所述卷积特征图进行池化处理以生成池化特征图； 以及对所述池化特征图进行基于 非线性激活函数的激活以获得激活特 征图。 3.根据权利要求2所述的基于信 息融合的行人检测方法， 其中， 将所述监控图像通过第 一卷积神经网络以获得第一特征图， 包括： 从所述第一卷积神经网络的第M层提取第一激活 特征图； 从所述第一卷积神经网络的最后一层提取第二激活特征图； 以及融合所述第一激 活特征图和所述第二激活特 征图以获得 所述第一特 征图。 4.根据权利要求3所述的基于信 息融合的行人检测方法， 其中， 所述第 二卷积神经网络 模型为深度可分离卷积神经网络， 其中， 所述深度可分离卷积神经网络的卷积核为 5.根据权利要求4所述的基于信 息融合的行人检测方法， 其中， 将所述分类特征图通过 分类器以获得分类损失函数值， 包括： 所述分类器以如下公式对所述分类特征图进行处理 以生成分类结果， 其中， 所述公式为： softmax{(Wn,Bn):…:(W1,B1)|Project(F)}， 其中 Project(F)表示将所述分类特征图投影为向量， W1至Wn为各层全连接层的权重矩阵， B1至Bn 表示各层全连接层的偏 置矩阵； 以及计算所述分类结果与真实值之 间的交叉熵值作为所述 分类损失函数值。 6.根据权利要求5所述的基于信 息融合的行人检测方法， 其中， 计算所述第 一特征图和 所述第二特征图之间的衍生信息超凸度量因数， 包括： 以如下公式计算所述第一特征图和 所述第二特 征图之间的所述 衍生信息超凸度量因数； 其中， 所述公式为：权　利　要　求　书 1/2 页 2 CN 115424204 A 2其中 和 分别表示所述第一特征图和所述第二特征图的每个位置的特征值， 且所述第一特 征图和所述第二特 征图均具有尺度W ×H×C。 7.一种基于信 息融合的行人检测系统， 其特征在于， 包括： 训练模块， 包括： 监控图像获 取单元， 用于通过部署于吊运装 备现场的视觉传感器获取监控图像； 回波信号 获取单元， 用 于通过部署于所述 吊运装备现场的毫米波雷达获取回波信号； 第一特征提取单元， 用于将 所述监控图像通过第一卷积神经网络以获得第一特征图； 第二特征提取单元， 用于将所述 回波信号的波形图通过第二卷积神经网络以获得第二特征图； 融合单元， 用于融合所述第 一特征图和所述第二特征图以获得分类特征图； 分类损失函数值计算单元， 用于将所述分 类特征图通过分类器以获得分类损失函数值； 衍生信息超凸度量因数计算单元， 用于计算 所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数， 其中， 所述衍生信息超 凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值 沿着宽度维度、 高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各 个位置的特征值间的差值沿着宽度维度、 高度维度和通道维度的加权和； 以及训练单元， 用 于计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所 述第一卷积神经网络和所述第二卷积神经网络进 行训练； 以及推断模块， 包括： 推断图像获 取单元， 用于通过部署于吊运装 备现场的视觉传感器获取监控图像； 推断信号采集单元， 用 于通过部署于所述 吊运装备现场的毫米波雷达获取回波信号； 第一特征图生成单元， 用于 将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图； 第 二特征图生成单元， 用于将所述回波信号的波形图通过经训练完成的所述第二卷积神经网 络以获得第二特征图； 分类特征图生成单元， 用于融合所述第一特征图和所述第二特征图 以获得分类特征图； 以及分类单元， 用于将所述分类特征图通过分类器以获得分类结果， 所 述分类结果用于表示非安全区域内是否存在行 人。 8.根据权利要求7所述的基于信息融合的行人检测系统， 其中， 所述第一特征提取单 元， 进一步用于： 所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进 行： 对 所述输入数据进 行基于二 维卷积核的卷积处理以生成卷积特征图； 对所述卷积特征图进 行 池化处理以生成池化特征图； 以及 对所述池化特征图进行基于非线性激活函数的激活以获 得激活特 征图。 9.根据权利要求8所述的基于信息融合的行人检测系统， 其中， 所述第二特征提取单 元， 进一步用于： 从所述第一卷积神经网络的第M层提取第一激活特征图； 从所述第一卷积 神经网络的最后一层提取第二激活特征图； 以及， 融合所述第一激活特征图和所述第二激 活特征图以获得 所述第一特 征图。 10.根据权利要求9所述的基于信息融合的行人检测系统， 其中， 所述第一特征提取单 元， 进一步用于： 所述第二卷积神经网络模型为深度可分离卷积神经网络， 其中， 所述深度 可分离卷积神经网络的卷积核为 权　利　要　求　书 2/2 页 3 CN 115424204 A 3