(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210294364.X (22)申请日 2022.03.24 (71)申请人 淮阴工学院 地址 223100 江苏省淮安市洪泽区东七街 三号高新技术产业园A12-2(淮 阴工学 院技术转移中心 洪泽分中心) (72)发明人 高尚兵　李少凡　张莹莹　杨苏强　 黄想　郭筱宇　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 20/59(2022.01) G06V 10/26(2022.01) G06V 10/46(2022.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 权重优化下的局部多尺度特征融合的驾驶 员行为识别方法 (57)摘要 本发明公开了一种权重优化下的局部多尺 度特征融合的驾驶员行为识别方法， 首先用 YOLOv5对驾驶员进行检测， 得到驾驶人体检测框 相对位置信息； 将原图片送入ResNet 50中进行特 征提取， 在主干网络ResNet 50的三个不同尺度利 用驾驶人相对位置信息进行ROI+Poing操作， 得 到三个不同尺度的驾员人体的特征， 并进行重复 多尺度特征融合； 最后将Resnet最终得到的全局 特征与多尺度特征融合后的驾驶员 人体特征进 行权重优化策略后结合， 通过Softmax层预测相 应的类别。 本发 明在结合目标检测和局部多尺度 重复融合结构充分提取人体特征的同时， 也兼顾 了全局背景对 预测产生的效应； 在复杂驾驶环境 下的检测 效果良好,准确度高， 具有较好的鲁棒 性。 权利要求书2页 说明书6页 附图2页 CN 114882478 A 2022.08.09 CN 114882478 A 1.一种权重优化下的局部多尺度特征融合的驾驶员行为识别方法， 其特征在于， 包括 以下步骤： (1)预先获取驾驶室的监控视频， 选取其中的分心驾驶行为并分割成相应图片， 作为数 据集； (2)采用YOLOv5对驾驶员进行检测， 得到驾驶人体 检测框相对位置信息； (3)将原图片送入ResNet5 0网络中进行 特征提取； (4)分别在ResNet50网络的28*28、 14*14和7*7尺度的特征图上， 利用步骤(2)所得到人 体检测框相对位置， 进行ROI+Pooing得到驾驶人的底层细节特征和高层抽象特征， 并对三 个尺度的特 征进行重复多尺度融合， 得到更加全面丰富的驾驶人 特征； (5)提出一种权重分配方法用于对驾驶人特征和全局特征进权衡， 将分配后的驾驶人 的特征和全局特 征相结合， 并对驾驶员行为进行识别。 2.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法， 其特征在于， 所述 步骤(2)实现过程如下： 其中， YOLOv5网络为Y(x)， 其中将图片x作为输入， 输出一个包含网格的特征图， 其中 (tx,ty)为偏移量， (cx,cy)为相当于左上角的坐标位置， (tw,th)为尺度缩放比例， (pw,ph)为 先验框的长宽； bx， by为检测框的中心坐标， bw,bh为检测框的长宽， 将检测出的人体框命名 为xh。 3.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法， 其特征在于， 所述 步骤(3)实现过程如下： 将整张图片作为全局特征提取的输入， 使用ResNet ‑50在ImageNet进行过预训练模型， 并对模型进行微调， 将模型的最后的全连接层进 行相应修改以适应具体驾驶员行为识别任 务； 整张图片经 过主干网络后得到特 征图F， 对特 征图F添加残差块结构得到全局特 征fC： fC＝(ResC (F))      (1) 。 4.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法， 其特征在于， 所述 步骤(4)实现过程如下： 利用步骤(2)目标检测得到 人体框xh， 用感兴趣区域和池化对人体区域进行特征提取的 到局部人体特征， 在局部人体特征后面跟上残差结构和全局最大池化来 获取单个尺度的人 体特征fh： fh＝GAP(Resh(RoI(F,xh)))      (3) 设主干网络要输入到多尺度特征融合结构的三个尺度的输入特征Pin＝(Pin l1,Pin l2, Pin l4)， 输出特征为Pout＝h(Pin)， h()为多尺度融合运算， 其中Pin l1代表分辨率为输入图像的 1/2， Pin l2代表分辨率为输入图像的1/4， Pin l4代表原图的1/16； 多尺度重复融合采样操作可 表示如下： 权　利　要　求　书 1/2 页 2 CN 114882478 A 2其中， 代表concat运算； 最后通过一种阶梯型的特征融合方式将融合后的不 同尺度 的向量进行相加， 得到最终多特 征融合后的fh fusion： 5.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法， 其特征在于， 所述 步骤(5)实现过程如下： 引入权重ρ 对全局特征fC特征和fh fusion进行合理分配： 其中， 代表对特征进行最大池化操作， 代表进行平均池化操作。权　利　要　求　书 2/2 页 3 CN 114882478 A 3