(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211253488.X (22)申请日 2022.10.13 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 赵乾佑　黄海清　戚进　胡洁　 王小强　陈宇轩　范琪　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 电梯轿厢乘客异常行为检测系统及方法 (57)摘要 本发明提供了一种电梯轿厢乘客异常行为 检测方法及系统， 包括： 步骤S1： 加载电梯监控视 频， 并通过堆栈存储最近播放的连续视频帧； 步 骤S2： 出栈时将堆栈存储的连续视频帧依次输入 到目标检测模型中提取人像姿态， 若为异常， 则 根据人像位置划定当前连续视频帧检测区， 并基 于划定的当前连续视频帧检测区图片组成新的 视频帧， 存储在堆栈中； 步骤S3： 将堆栈中存储的 新的视频帧输入至行为检测模型识别行为种类； 步骤S4： 当行为种类为异常行为时则触发警报并 保存人像； 所述目标检测模型采用改进的YOL O目 标检测算法获得目标边框与姿态类别； 所述行为 检测模型采用综合注意力机制的长短期记忆网 络得到行为种类 。 权利要求书2页 说明书10页 附图3页 CN 115527271 A 2022.12.27 CN 115527271 A 1.一种电梯轿厢乘客异常行为检测方法， 其特 征在于， 包括： 步骤S1： 加载电梯监控视频， 并通过堆栈 存储最近播 放的连续视频帧； 步骤S2： 出栈时将堆栈存储的连续视频帧依次输入到目标检测模型中提取人像姿态， 若为异常， 则根据人像位置划定当前连续视频帧检测区， 并基于划定的当前连续视频帧检 测区图片组成新的视频帧， 存 储在堆栈中； 步骤S3： 将堆栈中存 储的新的视频帧输入至行为检测模型识别行为种类； 步骤S4： 当行为种类为异常行为时则触发 警报并保存人像； 所述目标检测模型采用改进的YOLO目标检测算法获得目标边框与姿态类别； 所述行为检测模型采用综合注意力机制的长短期记 忆网络得到行为种类。 2.根据权利要求1所述的电梯轿厢乘客异常行为检测方法， 其特征在于， 所述步骤S1采 用： 通过openCV库中的函数读取实时传输的图片帧， 利用openCV将图片帧转换为矩阵， 通过 python建立堆栈存储当前矩阵。 3.根据权利要求1所述的电梯轿厢乘客异常行为检测方法， 其特征在于， 所述步骤S2采 用： 步骤S2.1： 将存储的连续帧中的每一帧作为输入， 依次使用目标检测模型检测提取人 像姿态； 当基于当前帧未检测到异常姿态， 则读取下一帧； 当基于当前帧提取出异常姿态， 则截取当前视频帧， 并根据人像位置划定检测区； 步骤S2.2： 在划定检测区后， 根据检测区的坐标位置， 在当前视频段所有帧的相同位置 截取检测区， 截取 出的检测区图片组成新的视频帧， 存 储在堆栈中。 4.根据权利要求1所述的电梯轿厢乘客异常行为检测方法， 其特征在于， 所述改进的 YOLO目标检测算法采用： 使用Darknet网络作为骨架网络， 通过将原始图片划分网格， 来定 位异常姿态并划出检测区。 5.根据权利要求1所述的电梯轿厢乘客异常行为检测方法， 其特征在于， 所述步骤S3采 用： 步骤S3.1： 将堆栈中存储的新的视频帧输入到VGG16 网络进行运动信息提取， 得到二维 向量， 当前二维向量表示单帧图片提取的特 征值和视频帧 帧数； 步骤S3.2： 将得到的二维向量输入到长短期记忆网络的编码器中， 通过单向循环网络 加注意力机制层， 对每帧进行权 重分配， 得到带有权 重的一维向量； 步骤S3.3： 将当前二维向量输入长短期记忆网络的解码器中， 经过单向循环网络加全 连接层、 激活层以及softmax分类层， 得到一维特征向量， 当前一维特征向量中每个元素表 示为某种行为的发生可能性， 大小在0 到1之间。 6.一种电梯轿厢乘客异常行为检测系统， 其特 征在于， 包括： 模块M1： 加载电梯监控视频， 并通过堆栈 存储最近播 放的连续视频帧； 模块M2： 出栈时将堆栈存储的连续视频帧依次输入到目标检测模型中提取人像姿态， 若为异常， 则根据人像位置划定当前连续视频帧检测区， 并基于划定的当前连续视频帧检 测区图片组成新的视频帧， 存 储在堆栈中； 模块M3： 将堆栈中存 储的新的视频帧输入至行为检测模型识别行为种类； 模块M4： 当行为种类为异常行为时则触发 警报并保存人像； 所述目标检测模型采用改进的YOLO目标检测算法获得目标边框与姿态类别；权　利　要　求　书 1/2 页 2 CN 115527271 A 2所述行为检测模型采用综合注意力机制的长短期记 忆网络得到行为种类。 7.根据权利要求6所述的电梯轿厢乘客异常行为检测系统， 其特征在于， 所述模块M1采 用： 通过openCV库中的函数读取实时传输的图片帧， 利用openCV将图片帧转换为矩阵， 通过 python建立堆栈存储当前矩阵。 8.根据权利要求6所述的电梯轿厢乘客异常行为检测系统， 其特征在于， 所述模块M2采 用： 模块M2.1： 将存储的连续帧中的每一帧作为输入， 依次使用目标检测模型检测提取人 像姿态； 当基于当前帧未检测到异常姿态， 则读取下一帧； 当基于当前帧提取出异常姿态， 则截取当前视频帧， 并根据人像位置划定检测区； 模块M2.2： 在划定检测区后， 根据检测区的坐标位置， 在当前视频段所有帧的相同位置 截取检测区， 截取 出的检测区图片组成新的视频帧， 存 储在堆栈中。 9.根据权利要求6所述的电梯轿厢乘客异常行为检测系统， 其特征在于， 所述改进的 YOLO目标检测算法采用： 使用Darknet网络作为骨架网络， 通过将原始图片划分网格， 来定 位异常姿态并划出检测区。 10.根据权利要求6所述的 电梯轿厢乘客异常行为检测系统， 其特征在于， 所述模块M3 采用： 模块M3.1： 将堆栈中存储的新的视频帧输入到VGG16 网络进行运动信息提取， 得到二维 向量， 当前二维向量表示单帧图片提取的特 征值和视频帧 帧数； 模块M3.2： 将得到的二维向量输入到长短期记忆网络的编码器中， 通过单向循环网络 加注意力机制层， 对每帧进行权 重分配， 得到带有权 重的一维向量； 模块M3.3： 将当前二维向量输入长短期记忆网络的解码器中， 经过单向循环网络加全 连接层、 激活层以及softmax分类层， 得到一维特征向量， 当前一维特征向量中每个元素表 示为某种行为的发生可能性， 大小在0 到1之间。权　利　要　求　书 2/2 页 3 CN 115527271 A 3