(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211136414.8 (22)申请日 2022.09.19 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 申请人 慧动星球 （北京） 科技有限公司 (72)发明人 吕超　张哲雨　肖峣　崔格格　 龚建伟　臧政　冯悦　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 韩雪梅 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) (54)发明名称 一种行人与车辆交 互状态识别方法及系统 (57)摘要 本发明涉及一种行人与车辆交互状态识别 方法及系统， 属于交互状态识别技术领域。 先对 每一训练样 本的激光雷达点云数据进行处理， 得 到行人与车辆的距离特征， 对图像数据进行处 理， 得到行人头部朝向特征和行人运动状态特 征。 然后将所有训练样本的每一种特征组成一特 征样本集， 并利用谱聚类算法对 特征样本集进行 处理， 得到标签集。 最后以特征样本集和标签集 作为输入， 利用分类器算法训练得到三种分类 器， 以利用三种分类器识别行人与车辆的交互状 态， 辅助无 人驾驶车辆或驾驶员的驾驶行为。 权利要求书3页 说明书10页 附图4页 CN 115424244 A 2022.12.02 CN 115424244 A 1.一种行 人与车辆交 互状态识别方法， 其特 征在于， 包括： 获取多个训练样本； 每一所述训练样本均包括车辆行驶过程中所采集的激光雷达点云 数据和图像数据； 对于每一所述训练样本， 对所述激光雷达点云数据进行处理， 得到行人与车辆的距离 特征； 对所述图像数据进行处 理， 得到行 人头部朝向特 征和行人运动状态特 征； 将所有所述训练样本的行人与车辆的距离特征组成第 一特征样本集； 利用谱聚类算法 对所述第一特 征样本集进行处 理， 得到第一标签集； 将所有所述训练样本的行人头部朝向特征组成第 二特征样本集； 利用所述谱聚类算法 对所述第二特 征样本集进行处 理， 得到第二标签集； 将所有所述训练样本的行人运动状态特征组成第 三特征样本集； 利用所述谱聚类算法 对所述第三特 征样本集进行处 理， 得到第三标签集； 以所述第一特征样本集和所述第 一标签集作为输入， 利用分类器算法训练得到第 一分 类器； 以所述第二特征样本集和所述第二标签集作为输入， 利用所述分类器算法训练得到 第二分类器； 以所述第三特征样本集和所述第三标签集作为输入， 利用所述分类器算法训 练得到第三分类 器； 利用所述第一分类器、 所述第二分类器和所述第三分类器识别行人与车辆的交互状 态。 2.根据权利要求1所述的一种行人与 车辆交互状态识别方法， 其特征在于， 所述激光雷 达点云数据通过车辆上安装的激光雷达采集得到； 所述图像数据通过车辆上安装的摄像头 采集得到 。 3.根据权利要求1所述的一种行人与 车辆交互状态识别方法， 其特征在于， 所述对所述 激光雷达点云数据进行处 理， 得到行 人与车辆的距离特 征具体包括： 提取所述激光雷达点云数据 所包括的每一帧点云数据对应的距离； 所述距离为行人与 车辆的距离； 计算所有所述 点云数据对应的距离的平均值， 得到行 人与车辆的相对距离； 对于每一帧所述点云数据， 计算所述点云数据对应的距离与 所述点云数据的前一帧点 云数据对应的距离的差值， 得到距离 差； 根据所有所述点云数据对应的距离差计算行人与车辆距离的增加量以及行人与车辆 距离的减少量； 所述行人与车辆的相对距离、 所述行人与车辆距离的增加 量以及所述行人 与车辆距离的减少量组成行 人与车辆的距离特 征。 4.根据权利要求1所述的一种行人与 车辆交互状态识别方法， 其特征在于， 所述对所述 图像数据进行处 理， 得到行 人头部朝向特 征和行人运动状态特 征具体包括： 采用行人骨架识别方法对所述图像数据所包括的每一帧图像进行识别， 得到每一帧所 述图像的行人骨架节点坐标数据； 所述行人骨架节点坐标数据包括鼻尖节点坐标数据、 脊 柱上止点坐标数据、 脊柱下止点坐标数据、 左胯关节节点坐标数据、 右胯关节节点坐标数 据、 左膝关节节点坐标数据、 右膝关节节点坐标数据、 左踝关节节点坐标数据、 右踝关节节 点坐标数据； 对于每一帧所述图像， 根据 所述鼻尖节点坐标数据和所述脊柱上止点坐标数据计算行 人的鼻尖和脊柱上止点的连线与水平线的第一夹角； 根据所述脊柱上止点坐标数据和所述权　利　要　求　书 1/3 页 2 CN 115424244 A 2脊柱下止点坐标数据计算行人的脊柱高度； 根据所述左膝关节节点坐标数据和所述右膝关 节节点坐标数据计算行人的双 膝距离； 根据所述左踝关节节点坐标数据和所述右踝关节节 点坐标数据计算行人 的双踝距离； 根据所述左胯关节节点坐标数据、 所述左膝关节节点坐 标数据和所述左踝关节节点坐标数据计算行人的左腿弯曲角度； 根据所述右胯关节节点坐 标数据、 所述右膝关节节点坐标数据和所述右踝关节节点坐标数据计算行人的右腿弯曲角 度； 计算所有所述图像的所述第一夹角的平均值， 得到行 人头部朝向特 征； 根据所有所述图像的所述脊柱高度、 所述双膝距离以及所述双踝距离， 计算双腿运动 幅度变化特征； 根据所有所述图像的所述左腿弯曲角度以及所述右腿弯曲角度， 计算双腿 弯曲程度特征； 所述双 腿运动幅度变化特征和所述双腿弯曲程度特征组成行人运动状态特 征。 5.根据权利要求4所述的一种行人与 车辆交互状态识别方法， 其特征在于， 所述根据 所 有所述图像的所述左腿弯曲角度以及所述右腿弯曲角度， 计算双腿弯曲程度特征具体包 括： 计算所有所述图像的所述左腿弯曲角度的平均值， 得到左腿弯曲程度； 计算所有所述图像的所述右腿弯曲角度的平均值， 得到右腿弯曲程度； 统计所有所述图像中所述左腿弯曲角度大于第 一预设角度的第 一个数， 统计所有所述 图像中所述右腿弯曲角度大于所述第一预设角度的第二个数， 并计算所述第一个数和所述 第二个数的和值与图像总帧数的比值， 得到第一占比； 统计所有所述图像中所述左腿弯曲角度小于第 二预设角度的第 三个数， 统计所有所述 图像中所述右腿弯曲角度小于所述第二预设角度的第四个数， 并计算所述第三个数和所述 第四个数的和值与所述图像总帧数的比值， 得到第二占比； 所述左腿弯曲程度、 所述右腿弯曲程度、 所述第一占比和所述第二占比组成双腿弯曲 程度特征。 6.根据权利要求1所述的一种行人与 车辆交互状态识别方法， 其特征在于， 所述利用谱 聚类算法对所述第一特 征样本集进行处 理， 得到第一标签集具体包括： 对所述第一特 征样本集进行谱分解， 得到特 征谱； 将所述第一特 征样本集内的数据向所述特 征谱投影， 得到投影数据； 对所述投影数据进行 K均值聚类， 得到K种类 群； 确定每一种所述类 群的标签， 得到第一标签集。 7.一种行 人与车辆交 互状态识别系统， 其特 征在于， 包括： 样本获取模块， 用于获取多个训练样本； 每一所述训练样本均包括车辆行驶过程中所 采集的激光雷达点云数据和图像数据； 特征提取模块， 用于对于每一所述训练样本， 对所述激光雷达点云数据进行处理， 得到 行人与车辆的距离特征； 对所述图像数据进行处理， 得到行人头部朝向特征和行人运动状 态特征； 标签生成模块， 用于将所有所述训练样本的行人与车辆的距离特征组成第 一特征样本 集； 利用谱聚类算法对所述第一特征样本集进行 处理， 得到第一标签集； 将所有 所述训练样 本的行人头部朝向特征组成第二特征样本集； 利用所述谱聚类算法对所述第二特征样本集权　利　要　求　书 2/3 页 3 CN 115424244 A 3