(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211369541.2 (22)申请日 2022.11.03 (71)申请人 高志强 地址 830049 新疆 维吾尔自治区乌鲁 木齐 市天山区延安路1 126号 (72)发明人 高志强　邓雅文　 (74)专利代理 机构 西安众和至成知识产权代理 事务所(普通 合伙) 61249 专利代理师 强宏超 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/77(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 21/62(2013.01) (54)发明名称 一种基于联邦视觉的电梯行为检测方法 (57)摘要 本发明公开一种基于联邦视觉的电梯行为 检测方法， 第一步构建多特征融合模型； 第二步， 训练多特征融合模型； 第三步， 利用多特征融合 检测模型对获取的电梯行为图像进行检测， 对用 户进入电梯的行为进行实时检测， 对检测到的电 动车和用户遮挡下的电动车发出检测输出， 完成 警告； 本发 明方法克服传统方式中用单一孤立的 图像的弊端， 提升模型对电动车和用户序列行为 的检测能力， 并利用差分隐私保障电梯监控采集 的用户行为数据隐私， 降低训练数据泄 露风险。 权利要求书2页 说明书7页 附图4页 CN 115527173 A 2022.12.27 CN 115527173 A 1.一种基于联邦 视觉的电梯行为检测方法， 其特 征在于包括如下步骤： 第一步， 构建多特 征融合模型； 1)、 构建yolov5模型的输入部分、 骨干网络、 Neck、 预测部分， 提取小型电动车位置和类 别特征， 获得电动车检测框的起 点坐标和宽、 高， 以及类别； 其中， yolov5模型的输入部分用于电梯监控采集的训练数据的剪裁处理， 得到合适的 尺寸； 骨干网络采用CSP ‑darknet53架构提取输入部分图像中小 型电动车的特征， 骨干网络 包括1个Focus结构， 串联的2 个CBL结构和CSP结构， 其输出既与Neck部分的CBL结构相连， 又 连接CBL结构和SPP结构； Neck部分的输入是CSP ‑darknet53所提取的特征数据， 由三组上采 样实现高层特征升维， 其输出通过三组CBL和连接操作， 实现三组小 型电动车特征的融合提 取； 预测部分通过三组卷积完成Neck部分输出的三组特 征预测输出； 2)、 构建yolopose模型， 利用与yolov5模型相同的CSP ‑darknet53网络， 是典型 的双分 支结构， 用于提取输入电梯监控 数据的用户行为特征， 形成三个特征尺寸， 作为用户行为特 征融合部分的输入； 特征融合对所提取出用户行为的三组特征先进行自顶向下 的上采样， 特征升维， 再进行自底向上 的特征降维， 形成三组尺度的融合特征图， 检测部分利用3组不 同尺度作为三组检测头部， 分支预测用户人体行为特征位置检测框和每个用户人体特征的 17个关键点； 3)、 构建多特征融合检测模型， 融合yolov5模型和yolopose模型骨干网络CSP ‑ darknet53， 分别初步提取小型电动车特征和用户人体行为特征， 然后通过各自的Neck部 分 和特征融合、 检测部分， 提取出三组小型电动车特征和用户人体行为边界框和关键点等特 征； 结合检测框 宽高比的尺度信息， 形成基于 CIOU_Loss和目标关键点相似度的目标函数； 第二步， 训练多特 征融合模型； 利用多个电梯监控采集的含有电动车和用户行为的电梯轿厢情况数据， 引入时间序列 因子， 动态增加训练数据的时序维度， 扩大训练数据样本的时序关联性， 形成基于动态序列 因子形成本地模型训练数据； 采用联邦学习模式， 在模型训练过程中， 将基于 由Laplace逆累积函数生成的Laplace 噪声的模 型参数上报中央服务器， 中央服务器聚合模型参数， 形成聚合模型， 然后将聚合模 型参数下发各本地电梯监控模型， 通过联邦学习的迭代过程和训练数据的动态维度变化， 完成兼顾隐私保护和多特 征融合的模型训练； 第三步， 利用多特 征融合检测模型对获取的电梯行为图像进行检测 经过联邦学习模型的训练， 多个电梯所具有的多特征融合检测模型具备了同时检测小 型电动车和用户行为的能力， 对用户进入电梯的行为进行实时检测， 对检测到的电动车和 用户遮挡下的电动车发出检测输出， 完成警告。 2.如权利要求1所述的基于联邦视觉的电梯行为检测方法， 其特征在于： 所述步骤1)中 用于小型电动车特征提取的yolov5模型中， 骨干网络由1个Focus结构， 2 个CBL结构和CSP结 构， 以及S PP结构构成； 1个CBL结构包括卷积、 正则化、 Leaky_relu激活函数； CSP结构由三个卷积层、 一个Res 单元、 一个连接单元(Concate)组成， 其中， 卷积层为CBM结构， 包括一个卷积、 一个正则化 (Bn)、 一个Mish激活函数； Res单元由两个CBM结构和一个加操作构成， 输出为两个CBM提取 的特征和输入端的特 征加和； SPP结构采用1 ×1， 3×3， 5×5三种最大池化方式实现。权　利　要　求　书 1/2 页 2 CN 115527173 A 23.如权利要求1所述的基于联邦视觉的电梯行为检测方法， 其特征在于： 所述步骤2)中 用于用户人体行为特征提取的yolopose模 型与yolov5采用相同的骨干网络， 形成典型的双 分支结构， 将用户人体的所有关键点与A nchor关联， 通过骨干网络、 特征融合、 检测、 多尺度 检测框和关键点检测， 提取用户人体的17个关键点和可信度， 便于后续优化目标关键点相 似度。 4.如权利要求1所述的基于联邦视觉的电梯行为检测方法， 其特征在于： 所述步骤3)中 基于yolov5和yolopose的多特征融合检测模型， 采用CSP ‑darknet53将电动车检测和人体 姿态检测通过统一的骨干网络融合， 然后通过各自的Neck部 分和特征融合、 检测部分， 提取 出三组小 型电动车特征和用户人体行为边界框和关键点等特征， 形成代表用户人体行为检 测框的起点坐标和 宽、 高、 框置信度、 类别置信度， 以及17个人体关键点坐标和相应置信度 的向量， 融合CIOU_Loss和目标关键点相似度(OKS)实现优化模型参数的目标函数， 为模型 优化提供目标函数。 5.如权利要求1所述的基于联邦视觉的电梯行为检测方法， 其特征在于： 所述第 二部中 模型训练的整体架构包括多个电梯监控， 用于采集含有电动车和用户行为的电梯轿厢情况 数据， 训练数据来 自电梯监控的时序视频数据， 时间窗W设置为3的整数倍， 最大值为Wmax， 选取时间窗W内视频序列作为模 型训练所需的输入图像序列， 随着迭代次数增加， 动态序列 因子增加， 基于动态序列因子形成本地模型训练数据， 有助于增加训练数据的相关性， 提升 用户遮挡电动车 行为的检测效果。 6.如权利要求1所述的基于联邦视觉的电梯行为检测方法， 其特征在于： 所述第 二部中 采用联邦学习模式， 训练电动车和用户人体行为多特征融合模型， 使目标函 数Losstotal的不 断最小化， 差分隐私噪声设置于 yolov5和yolopose网络参数中， 每轮本地模型训练完成后， 均向模型参数中添加 满足ε‑差分隐私的Laplace噪声， 由Laplace逆累积函数生成， 然后将 含有噪声的模型参数汇聚至中央服 务器， 完成本轮模型训练和参数汇聚。 7.如权利要求1所述的基于联邦视觉的电梯行为检测方法， 其特征在于： 所述步骤2)中 提取用户人体的17个关键点 为头部、 上肢和下肢位置的关键点。权　利　要　求　书 2/2 页 3 CN 115527173 A 3