(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210966568.3 (22)申请日 2022.08.12 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 贺诗波　施振宇　徐李琳　陈积明　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01) (54)发明名称 一种基于深度学习的行人入侵检测系统及 方法 (57)摘要 本发明公开了一种基于深度学习的行人入 侵检测系统及方法， 该系统包括入侵区域分割模 块、 行人检测模块和行人入侵状态判断模块。 其 中入侵区域分割模块包括双边语义分割网络模 块和重点区域特征增强模块， 能够实现图像中危 险入侵区域的像素级分割， 同时通过特征增强提 高行人区域的分割精度。 行人检测模块包括双阶 段目标检测网络模块和行人位置预测优化模块， 能够实现图像中行人外矩形边框的检测， 同时对 入侵区域边缘的入侵敏感候选框进行位置预测 优化。 行人入侵状态判断模块根据行人位置信息 和入侵区域信息判断行人入侵状态。 本发明基于 对行人入侵行为的理解， 判断危险入侵区域内的 行人入侵状态， 在安防监控和辅助自动驾驶中有 广泛的应用。 权利要求书4页 说明书8页 附图2页 CN 115410055 A 2022.11.29 CN 115410055 A 1.一种基于深度学习的行 人入侵检测系统， 其特 征在于， 包括： (1)入侵区域分割模块， 用于对危险入侵区域和安全非入侵区域进行像素级分割， 包 括： 输入检测场景的图像数据， 通过双边语义分割网络模块对输入图像采用双边路径卷积 特征提取方式， 分别得到空间路径特征与上下文路径特征， 再采用特征融合操作将空间路 径特征与上下文路径特 征进行特征融合得到高维度特 征图； 通过重点区域特征增强模块对所述双边语义分割网络模块中的高维度特征图进行通 道级特征增强操作， 根据输入图像中的行人位置确定行人 的最小矩形区域作为行人区域， 并将输入图像行人区域映射到高维度特征图行人区域， 在高维度特征图行人区域中进 行上 下文特征编码， 并将编码得到的特征增强向量反馈给高维度特征图进行通道级特征增强， 得到增强后的高维度特 征图； 所述双边语义分割网络模块对增强后的高维度特征图进行降维和上采样操作得到与 原输入图像尺寸相同的区域分割图， 其中包括 危险入侵区域和安全非入侵区域； (2)行人检测模块， 用于检测行 人在图像中的外矩形边框位置， 包括： 输入检测场景的图像数据， 通过双阶段目标检测网络模块对输入图像中的行人目标进 行外矩形边框检测； 通过行人位置预测优化模块根据行人外矩形边框位置信息和图像危险入侵区域分割 信息， 将行人外矩形边框分类为处于危险入侵区域边缘的入侵敏感候选框和其他入侵不敏 感候选框， 在行人外矩形边框位置预测回归过程中， 对入侵敏感候选框进 行位置预测优化， 提高位置预测准确率， 最终输出优化后的行 人外矩形边框位置信息； (3)行人入侵状态判断模块： 输入入侵区域分割模块得到的区域分割图和行人检测模 块得到的行人外矩形边框位置信息， 将行人外矩形边框位置信息映射到区域分割图中， 通 过分析行人外矩形边框和危险入侵区域的位置 关系， 根据行人外矩形边框内的入侵像素信 息， 采用入侵像素加权计算和行人自身尺度 因子偏置的方法计算入侵指标， 再通过设置入 侵指标阈值进行行人入侵状态的判断， 高于入侵指标阈值则判断行人状态为入侵， 否则判 断行人状态为非入侵 。 2.根据权利要求1所述的一种基于深度 学习的行人入侵检测系统， 其特征在于， 所述双 边语义分割网络模块基于 改进的BiSeNet深度卷积网络， 采用空间路径和上下文路径双边 路径卷积特征提取方式， 空间路径特征提取采用三层5*5深度可分离卷积层进 行8倍下采样 操作以获取图像空间特征信息， 上下文路径特征提取采用深度 残差模型ResNet进 行16倍下 采样操作以获取图像上下文语义特征信息， 再采用特征融合操作将空间路径特征与上下文 路径特征进行特征融合得到高维度特征图， 对高维度特征图进行降维和上采样操作得到与 原输入图像尺寸相同的区域分割图。 3.根据权利要求1所述的一种基于深度 学习的行人入侵检测系统， 其特征在于， 所述重 点区域特 征增强模块的实现具体为： 记高维度特征图行人区域为X∈RC×N， R表示C×N维的特征空间， C为高维度特征图行人 区域的维度， N 为高维度特 征图行人区域的像素 数； 计算像素尺度的中间编码向量 集E＝w×X， 其中w为学习权 重； 计算特征尺度的中间编码向量 集CE＝X×ET， 其中T表示 转置操作；权　利　要　求　书 1/4 页 2 CN 115410055 A 2记中间编 码向量集CE＝{ce1,ce2,…,cek,…,ceK}， 其中cek表示C维度的中间编 码向量， K表示CE中的向量个数； 将中间编码向量 集CE进行K个特征向量的特 征聚合， 输出C维度的特 征增强向量se： 将C维度的特征增强向量se与C维度的高维度特征图进行对应维度的特征尺度缩放， 得 到增强后的高维度特征图， 实现高维度特征图在不同特征通道的差异化特征表达， 使得高 维度特征图中与行 人区域相关的特 征表达增强。 4.根据权利要求1所述的一种基于深度 学习的行人入侵检测系统， 其特征在于， 所述入 侵区域分割模块在训练监督过程中， 对于双边语义分割网络模块的训练， 根据VOC2012格式 构建网络训练集， 在训练集中人工标注检测场景中的危险入侵区域和安全非入侵区域； 采 用交叉熵损失函数CrossEntropy对图像分割 预测结果y ′与图像分割标签y计算损失l1， 计 算公式如下： l1＝CrossEntropy(y′,y) 对于重点区域特征增强模块的训练， 根据图像行人区域得到图像分割标签的行人区 域， 对图像 分割标签的行人区域进行网格划分， 得到若干形状面积相同的子区域， 计算子区 域中入侵标签像素 的比例， 再通过设置比例阈值对每个子区域设定二值标签， 高于比例阈 值则设定子区域二值标签为1， 否则 设定子区域二值标签为0， 从而得到行人区域网格二值 标签， 再将二维度的行人区域网格二值标签进行拉伸， 得到一维度的行人区域二值标签 向 量； 采用均方差损失函数MSE对特征增强向量se与行人区域二值标签向量bin计算损失l2， 计算公式如下： l2＝MSE(fc(se),bi n) 其中fc表示全连接操作， 用于将特征增强向量的维度转换到与行人区域二值标签向量 维度相同； 入侵区域分割模块的训练损失lseg＝l1+l2。 5.根据权利要求1所述的一种基于深度 学习的行人入侵检测系统， 其特征在于， 所述双 阶段目标检测网络模块基于改进的Faster  RCNN双阶段目标检测网络， 第一阶段从预设边 框中提取预测可能存在目标的候选框， 第二阶段从候选框中提取预测行人目标的外矩形边 框。 6.根据权利要求1所述的一种基于深度 学习的行人入侵检测系统， 其特征在于， 所述行 人位置预测优化模块的优化过程如下： 首先根据行人外矩形边框位置信息和图像危险入侵区域分割信息计算入侵敏感因子 s， 计算公式如下： 其中distance表示行人外矩形边框底边中心点到图像危险入侵区域的最小水平距离， length表 示行人外矩形边框的底边长度； 入侵敏感因子对所有 行人外矩形边框 保持相同的 尺度标准， 通过设置敏感阈值对行人外矩形边框进行分类， 高于敏感阈值则判断为入侵敏权　利　要　求　书 2/4 页 3 CN 115410055 A 3