(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211462573.7 (22)申请日 2022.11.21 (71)申请人 南京华苏 科技有限公司 地址 211300 江苏省南京市高淳区淳溪街 道宝塔路258号苏宁雅居39幢10号 (72)发明人 李鹏博　魏东迎　孟维　 (74)专利代理 机构 南京北辰联和知识产权代理 有限公司 323 50 专利代理师 陆中丹 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/60(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 40/10(2022.01) (54)发明名称 基于深度学习的区域内遗失物品检测方法 (57)摘要 本发明公开了一种基于深度学习的区域内 遗失物品检测方法， 具体包括以下步骤： S1： 在选 定的区域内， 采用深度学习目标检测算法模型检 测人员和异物， 持续判断是否有人员进入， 锁定 人员ID； 同时进行异物的检测， 如没有出现异物， 则持续做异物检测的判断； S2： 检测出现异物之 后， 锁定异物ID， 将异物ID与所述步骤S1中的人 员ID进行关联匹配， 动态匹配距离最近的异物和 人员， 得到 具有异物关联属性的人员ID； S3： 判断 该具有异物关联属性的人员ID是否离开选定的 区域， 若检测到具有异物关联属性的人员ID离开 了选定的区域， 再判断与其关联的异物是否还在 选定的区域内， 若在， 则判断该异物是遗失物， 输 出告警结果， 完成遗失物检测。 权利要求书2页 说明书7页 附图4页 CN 115497056 A 2022.12.20 CN 115497056 A 1.一种基于深度学习的区域内遗失物品检测方法， 其特 征在于， 具体包括以下步骤： S1： 在选定的区域内， 采用深度学习目标检测算法模型检测人员和异物， 持续判断是否 有人员进入， 锁定人员ID； 同时进行异物的检测， 如没有出现异物， 则持续做异物检测的判 断； S2： 检测出现异物之后， 锁定异物ID， 将异物ID与所述步骤S1中的人员ID进行关联匹 配， 动态匹配距离最近的异 物和人员， 得到具有异 物关联属性的人员ID； S3： 判断该具有异物关联属性的人员ID是否离开选定的区域， 若检测到具有异物关联 属性的人员ID 离开了选定的区域， 再判断与其关联的异物是否还在选定的区域内， 若在， 则 判断该异 物是遗失物， 输出告警结果， 完成遗失物检测。 2.根据权利要求1所述的基于深度学习的区域内遗失物品检测方法， 其特征在于， 在所 述步骤S1中， 采用深度学习YOLOV5目标检测算法模型检测人员和异物， 所述YOLOV5目标检 测算法模型建立的方法为： S11准备数据集： 收集数据， 切分数据， 生成数据集； 数据集中包括需要检测的异物类 型； S12增强处理： 再使用Mosaic数据增强方式进行数据增强， 获得增强数据集， 再将增强 数据集划分为训练集和 测试集； S13搭建YOLOV5目标检测算法模型： 输入训练集的数据并训练， 并得到YOLOV5目标检测 算法模型权 重。 3.根据权利要求2所述的基于深度学习的区域内遗失物品检测方法， 其特征在于， 在所 述步骤S2中， 采用深度学习Deepsort目标追踪算法追踪人员ID和物 品ID， 所述Deepsort目 标追踪算法具体包括： 采用卡尔曼滤波器预测轨迹； 采用匈牙利算法将预测得到的轨迹和 当前帧中的检测结果进行级联匹配和IOU匹配； 利用卡尔曼滤波更新轨迹确定追踪结果确 定异物ID、 人员ID以及具有异 物关联属性的人员ID。 4.根据权利要求3所述的基于深度学习的区域内遗失物品检测方法， 其特征在于， 在所 述步骤S3中， 判断该具有异物关联属性的人员ID是否离开选定的区域具体包括： 在 Deepsort目标追踪算法追踪到的人员ID结果上构建一个人员时序特征列表存储人员进出 特征和时序特征， 在一定时间序列内， 将进入区域内未离开的人员ID标记为1， 离开区域内 的人员ID标记 为0； 人员ID的进 出行为和时序关联性进 行分析， 在顺序时序下当进 出特征满 足正态分布时， 可判断人员ID的进 出状态， 当人员ID进 出特征满足正态分布时， 进 出特征具 体表现为010特点， 这个特点代表着人员ID在顺序时序内进入了区域之后并且离开； 当利用 时序关联判断得到人员ID满足010特点时， 则给对应的人员ID标记为进入区域后离开的状 态。 5.根据权利要求4所述的基于深度学习的区域内遗失物品检测方法， 其特征在于， 在所 述步骤S2中， 采用中心点之间的距离判断异物ID与人员ID之间的从属关系， 在Deepsort目 标追踪算法追踪到的人员ID结果上计算人员ID的中心 点位置， 在YOLOV5目标检测算法模 型 检测的结果上计算异物 ID的中心 点位置， 根据两个中心 点位置之间的欧式距离计算异物 ID 与人员ID之间的从属关系， 当异物ID距离人员ID最近时则将该异物ID判定是该异物ID的， 再进行异 物ID与人员ID的关联匹配。 6.根据权利要求5所述的基于深度学习的区域内遗失物品检测方法， 其特征在于， 在所权　利　要　求　书 1/2 页 2 CN 115497056 A 2述步骤S13中， 使用搭建的YOLOV5目标检测算法模 型进行人员检测的方法为： 对选定的区域 内的图像数据进 行采集， 再通过视频或者rtsp流， 获取每帧图像数据； 再检测每帧图像数据 中是否有人员出现。 7.根据权利要求6所述的基于深度学习的区域内遗失物品检测方法， 其特征在于， 所述 步骤S11中的生成数据集的方式具体为： 采用视频抽帧的方式， 对视频进行抽帧处理， 生成 数据集； 在所述步骤S12中使用Mosaic数据增强方式进行数据增强具体为： 采用旋转、 裁剪 和增减图像亮度的方式增强数据集。 8.根据权利要求6所述的基于深度学习的区域内遗失物品检测方法， 其特征在于， 在所 述步骤S13中， 若当前图像中YOLOV5目标检测算法模型检测到有人员时， 则将检测结果保 存， 即矩形框四个点的坐标放入一个list列表中保存， 并计算出该矩形框的中心 点坐标， 计 算公式为： ； 其中， xmin、 xmax、 ymin、 ymax表示该矩形框的四个点坐标， c_x、 c_y表示该矩形框的中 心点坐标； 根据中心 点坐标判断人员是否进入规定区域， 规定区域绘制使用opencv绘制， 传 入参数多边形坐标点得到具体区域； 若中心点坐标处于选定的区域内， 则判断该检测到的 人员进入选 定的区域。 9.根据权利要求6所述的基于深度学习的区域内遗失物品检测方法， 其特征在于， 在所 述步骤S2中， 采用搭建的Y OLOV5目标检测算法模 型检测每帧图像中出现的人员和物品并且 赋予ID； 再使用YOLOV5目标检测算法模型的检测结果作为预先训练好的Deepsort目标追踪 算法模型 的目标框输入， 得到的一段轨迹作为当前帧图像轨迹， 通过目标框和当前帧图像 轨迹进行IOU交并比匹配， 利用卡尔曼滤波根据轨迹状态预测下一帧图像目标框的状态， 使 用卡尔曼 滤波观测值和估计值更新所有轨 迹的状态， 从而完成异 物ID和人员ID追踪。 10.根据权利要求9所述的基于深度学习的区域内遗失物品检测方法， 其特征在于， 在 所述步骤S2中， 判断异物ID与人员ID之间的从属关系， 即使用人员ID检测框与异物ID检测 框的中心点 坐标， 计算异 物ID与人员ID之间的欧式距离， 计算公式为： ； 其中， 为点 与点 之间的欧式距离， 当异物静止时计 算异物ID的中心坐 标， 并且计算当前帧人员ID的中心 点坐标， 使用异物ID的中心 坐标和当前帧人员ID的中心点坐 标作为两个点， 通过欧式距离的公式计算， 获得最小距离的人员ID， 则判断该异物属于离它 最近的人员ID， 将该人员ID记为携带了该异物的人员命名为X_ID， 即获取了具有异物关联 属性人员X_ID的中心点 坐标； 在所述步骤S3中， 根据获取的具有异物关联属性人员X_ID的中心点坐标， 采用步骤S1 中的YOLOV5目标检测算法模 型检测该具有异物关联属性人员X_ID是否在选定的区域内， 当 该具有异物关联属性人员X_ID不在选定的区域内的时， 则采用时序关联进 出特征判断该具 有异物关联属性人员X_ID的人员的进出行为， 当其满足010特征的正态分布时， 则判断其离 开了选定的区域。权　利　要　求　书 2/2 页 3 CN 115497056 A 3