(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211442713.4 (22)申请日 2022.11.18 (71)申请人 四川汉唐云 分布式存 储技术有限公 司 地址 625000 四川省雅 安市经济开发区园 区大道17号 (72)发明人 黄虹兵　陈适　常春　姚军　 陈昌辉　 (74)专利代理 机构 成都顶峰专利事务所(普通 合伙) 51224 专利代理师 王袁辉 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/74(2022.01)G06V 10/28(2022.01) G06V 10/26(2022.01) (54)发明名称 无人值守商店的商品防盗检测方法、 装置及 存储介质 (57)摘要 本发明公开了一种无人值守商店的商品防 盗检测方法、 装置及存储介质， 本发明利用图像 识别以及目标跟踪的方法， 来对 无人值守商店内 的每个顾客进行防盗检测， 其中， 先识别出顾客 抓取的商品， 然后， 将顾客放下商品后的图像作 为防盗检测图像， 并通过对防盗检测图像进行目 标跟踪， 从而来判断识别出的商品是否能够在防 盗检测图像中被跟踪识别到， 而若在防盗检测图 像中无法被跟踪识别到， 则说明商品消失， 顾客 存在偷窃行为， 此时， 即可向商店的值守终端发 送报警提示， 同时还会在商店内播放警示语音， 从而威慑偷窃人员； 由此， 本发明能够自动识别 出商店内的偷窃行为， 从而减少商品被盗风险， 降低商店的损失， 提高无人值守商店内商品的安 全性。 权利要求书3页 说明书14页 附图2页 CN 115497055 A 2022.12.20 CN 115497055 A 1.一种无 人值守商店的商品防盗检测方法， 其特 征在于， 包括： 获取任一顾客在无人值守商店内的购物图像集， 其中， 所述购物图像集包括若干RGB图 像以及若干结构光图像， 且若干RGB图像和若干结构光图像的采集起点时间、 采集结束时间 以及采集频率均相同； 对所述购物图像集中的每张RGB图像进行目标跟踪检测， 并根据目标跟踪检测结果从 若干RGB图像中确定出 所述任一顾客处于停止状态时的RGB图像， 以作为第一目标图像； 基于所述第一目标图像， 从所述购物图像集中的若干结构光图像中， 匹配出与所述第 一目标图像相对应的结构光图像， 以作为动作识别图像； 按照采集 时间从先至后的顺序， 对所述动作识别图像中的每张动作识别图像 内的所述 任一顾客进行手部动作 识别， 并根据手部动作 识别结果从所述动作 识别图像中筛选出若干 第二目标图像， 其中， 若干第二 目标图像中的首张和末张第二 目标图像中的任一顾客的手 部识别结果为手指张开， 处于首张和末张之间的第二目标图像中的任一顾客的手部识别结 果均为手指抓取； 根据若干第二目标图像中的最后一张第二目标图像， 从所述购物图像集中的若干RGB 图像中， 确定出防盗检测图像， 其中， 所述防盗检测图像是若干RGB图像中处于第三目标图 像之后的图像， 且所述第三目标图像为 最后一张第二目标图像相对应的RGB图像； 对各个第二目标图像进行商品识别， 并基于所述防盗检测图像， 对识别出的商品进行 目标跟踪， 以基于目标跟踪结果判断识别出的商品是否存在于所述防盗检测图像中的任一 防盗检测图像中； 若否， 则判定所述任一顾客存在偷窃行为， 并向无人值守商店的值守终端发送报警提 示， 以及在无人值守商店内播 放警示语音。 2.根据权利要求1所述的方法， 其特征在于， 按照采集时间从先至后的顺序， 对所述动 作识别图像中的每张动作识别图像内的所述任一顾客进行手部动作识别， 包括： 对于任一动作识别图像， 将所述任一动作识别图像分割为若干个检测图像单元， 并对 每个检测图像单 元进行深度突变 检测， 以得到每 个检测图像单 元中的深度突变点个数； 基于每个检测图像单元中的深度突变点个数， 得到所述任一动作识别图像的总深度突 变点个数； 判断所述总深度突变点个数 是否大于预设阈值； 若是， 则判定所述任一动作识别图像中的所述任一顾客的手部动作识别结果为手指张 开， 否则， 则判定所述任一动作识别图像中的所述任一顾客的手部动作识别结果为手指抓 取。 3.根据权利要求2所述的方法， 其特征在于， 将所述任一动作识别图像分割为若干个检 测图像单 元， 包括： 将所述任一动作识别图像进行 灰度变换， 得到手部灰度图像； 获取一手部标定灰度图像， 并基于所述手部标定灰度图像计算到得到分割标定阈值， 其中， 所述手部标定灰度图像为 一标定手部展开后的灰度图像； 计算所述手部灰度图像在长度方向上的像素点个数与 所述分割标定 阈值的商， 以及计 算所述手部灰度图像在宽度方向上的像素点个数与所述分割标定阈值的商， 分别得到第一 分割值以及第二分割值；权　利　要　求　书 1/3 页 2 CN 115497055 A 2以所述第一分割值为行数， 所述第二分割值为列数， 对所述任一动作识别图像进行行 列划分， 以在划分完成后， 得到若干个 检测图像单 元。 4.根据权利要求2所述的方法， 其特征在于， 对每个检测图像单元进行深度突变检测， 以得到每 个检测图像单 元中的深度突变点个数， 包括： 对于任一检测图像单 元， 将所述任一检测图像单 元进行二 值化处理， 得到二 值化图像； 获取形态学结构元， 并利用所述形态学结构元对所述二值化图像进行多次腐蚀运算， 以得到腐蚀后的二 值化图像； 基于所述腐蚀后的二 值化图像， 确定出 所述腐蚀后的二 值化图像中的骨架线； 统计所述骨架线中八连通区域的端点个数， 以将统计的端点个数作为所述任一检测图 像单元中的深度突变点个数。 5.根据权利要求4所述的方法， 其特征在于， 基于所述腐蚀后的二值化图像， 确定出所 述腐蚀后的二 值化图像中的骨架线， 包括： 利用骨架提取算法， 对所述腐蚀后的二值化图像进行骨架提取处理， 得到所述腐蚀后 的二值化图像中的初始骨架； 对于所述初始骨架中的第i个 像素点， 判断所述第i个 像素点的像素值是否为1； 若是， 则对第i个 像素点进行 单像素处 理； 将i自加1， 直至i等于n时， 得到预选骨架， 其中， i的初始值为1， n为初始骨架中像素点 的总个数； 对所述预选骨架进行去毛刺处理， 以在处理后， 得到所述腐蚀后的二值化图像中的骨 架线。 6.根据权利要求5所述的方法， 其特 征在于， 对第i个 像素点进行 单像素处 理， 包括： 获取所述第i个 像素点的八邻域内的像素点的像素值； 判断所述第i个 像素点的八邻域内像素点的像素值是否符合单像素 条件； 若是， 则将所述第i个 像素点的像素值设置为0， 否则， 则将i自加1。 7.根据权利要求1所述的方法， 其特征在于， 对所述购物图像集中的每张RGB图像进行 目标跟踪检测， 并根据目标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止 状态时的RGB图像， 以作为第一目标图像， 包括： 对每张RGB图像进行目标跟踪检测， 以得到每张RGB图像中所述任一顾客的中心点坐 标； 基于每张RGB图像中所述任一顾客的中心点坐标， 计算出每张RGB图像中的所述任一顾 客， 与各自对应RGB图像的边界之间的距离， 以作为每张RGB图像的停止检测距离； 判断所述若干RGB图像中， 是否存在有停止检测距离相同的m张相邻的RGB图像； 若是， 则将m张相邻的RGB图像作为所述第一目标图像， 其中， m为大于2的正整数。 8.一种无 人值守商店的商品防盗检测装置， 其特 征在于， 包括： 图像获取单元， 用于获取任一顾客在无人值守商店内的购物图像集， 其中， 所述购物图 像集包括若干RGB图像以及 若干结构光图像， 且若干RGB图像和若干结构光图像的采集起点 时间、 采集结束时间以及采集频率均相同； 目标跟踪单元， 用于对所述购物图像集中的每张RGB图像进行目标跟踪检测， 并根据目 标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止状态时的RGB图像， 以作为权　利　要　求　书 2/3 页 3 CN 115497055 A 3