(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211333413.2 (22)申请日 2022.10.28 (71)申请人 台州科技职业学院 地址 310012 浙江省杭州市西湖区西溪街 道文三路23 3号 (72)发明人 赵效萍　 (74)专利代理 机构 衡水铭启专利代理事务所 (特殊普通 合伙) 1314 4 专利代理师 包金远 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 40/20(2022.01) (54)发明名称 基于视频的智慧养老监控系统及其方法 (57)摘要 公开了一种基于视频的智慧养老监控系统 及其方法， 其考虑到在独居老人的异常行为监测 中， 老人跌倒是非常危险的异常行为， 在本申请 的技术方案中， 尝试从老年人步态检测角度来进 行老年人异常行为识别， 应可以理解， 在老年人 的不同行为模式中， 其步态会呈现出不同的模式 特征。 因此， 通过步态能量图来表示老年人的步 态特征， 并使用在图像特征提取领域具有优异性 能表现的卷积神经网络模型作为特征提取器来 提取所述步态能量图的高维局部隐含图像特征， 进而使用分类器以得到用于表示待监测老人是 否摔倒的分类结果。 这样， 能够对独居老人的行 为进行监测以在发现独居老人行为异常时发生 预警。 权利要求书3页 说明书14页 附图6页 CN 115482498 A 2022.12.16 CN 115482498 A 1.一种基于 视频的智慧养老监控系统， 其特 征在于， 包括： 监控模块， 用于获取由摄 像头采集的待监测老人在预定时间段的监控视频； 采样模块， 用于以预定采样周期和采样频率从所述监控视频提取多组监控关键帧序 列， 其中， 每一组所述 监控关键帧序列的时间周期为 一个步态周期； 步态能量图生成模块， 用于对所述多组监控关键帧序列中各组监控关键帧序列进行处 理以生成多个步态能量图； 步态特征提取模块， 用于将所述多个步态能量图中各个步态能量图通过包含多个混合 卷积层的第一卷积神经网络模型以得到多个步态能量特 征图； 特征增强模块， 用于分别对所述多个步态能量特征图中各个步态能量特征图进行特征 增强以得到多个优化 步态能量特 征图； 动态特征提取模块， 用于将所述多个优化步态能量特征图通过使用三维卷积核的第 二 卷积神经网络模型以得到分类特 征图； 以及 监控结果生成模块， 用于将所述分类特征图通过分类器以得到分类结果， 所述分类结 果用于表示待监测老人 是否摔倒。 2.根据权利要求1所述的基于视频的智慧养老监控系统， 其特征在于， 所述采样模块， 包括： 年龄提取 单元， 用于提取 所述待监测老人的年龄数据； 以及 匹配单元， 用于基于所述待监测老人的年龄数据， 指定所述预定采样周期。 3.根据权利要求2所述的基于视频的智慧养老监控系统， 其特征在于， 所述步态能量图 生成模块， 包括： 图像分割单元， 用于通过图像分割得到所述监控关键帧序列中各个关键帧的二值轮廓 图像以得到二 值轮廓图像序列； 以及 步态能量计算单元， 用于计算所述二值轮廓图像序列中所有二值轮廓图像的加权平均 以得到所述 步态能量特 征图。 4.根据权利要求3所述的基于视频的智慧养老监控系统， 其特征在于， 所述步态特征提 取模块， 进一步用于使用所述第一卷积神经网络模型的各个混合卷积层在层的正向传递中 分别对输入数据进行： 基于第一卷积核对所述输入数据进行 卷积处理以得到第一尺度特 征图； 基于第二卷积核对所述输入数据进行卷积处理以得到第二尺度特征图， 其中， 所述第 二卷积核为具有第一空洞率的空洞卷积核； 基于第三卷积核对所述输入数据进行卷积处理以得到第三尺度特征图， 其中， 所述第 三卷积核为具有第二空洞率的空洞卷积核； 基于第四卷积核对所述输入数据进行卷积处理以得到第 四尺度特征图， 其中， 所述第 四卷积核为具有第三空洞率的空洞卷积核； 将所述第一尺度特征图、 所述第二尺度特征图、 所述第三尺度特征图和所述第 四尺度 特征图进行级联以得到多尺度特 征图； 对所述多尺度特 征图进行池化处 理以得到池化特 征图； 以及 对所述池化特 征图进行激活 处理以得到 激活特征图； 其中， 所述第 一卷积神经网络模型的最后一个混合卷积层的输出为所述步态能量特征权　利　要　求　书 1/3 页 2 CN 115482498 A 2图。 5.根据权利要求4所述的基于视频的智慧养老监控系统， 其特征在于， 所述特征增强模 块， 包括： 增强因子计算单元， 用于以如下公式分别计算所述多个步态能量特征图中各个步态能 量特征图的特 征图优化因子以得到多个步态能量特 征图优化因子； 其中， 所述公式为： 其中， fi,j,k表示所述多个步态能量特征图中各个步态 能量特征图的第(i,j,k)位置的 特征值， |fi,j,k|2表示所述各个特征值绝对值的平方， 且W、 H和C分别是所述多个步态能量特 征图中各个步态能量特 征图的宽度、 高度和通道数， l og表示以2为底的对数； 以及 因子作用单元， 用于以所述多个步态能量特征图优化因子作为加权系数分别对所述多 个步态能量特 征图中各个步态能量特 征图进行加权之后以得到多个优化 步态能量特 征图。 6.根据权利要求5所述的基于视频的智慧养老监控系统， 其特征在于， 所述动态特征提 取模块， 包括： 所述使用三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进 行： 基于所述 三维卷积核对所述输入数据进行三维卷积处 理以得到卷积特 征图； 对所述卷积特 征图进行基于局部特 征矩阵的均值池化处 理以得到池化特 征图； 以及 对所述池化特 征图进行非线性激活以得到 激活特征图； 其中， 所述第二卷积神经网络模型的最后一层的输出为所述分类特征图， 所述第二卷 积神经网络模型的第一层的输入为所述多个优化 步态能量特 征图。 7.根据权利要求6所述的基于视频的智慧养老监控系统， 其特征在于， 所述监控结果生 成模块， 进一 步用于： 使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果， 其中， 所述 公式为： O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)} 其中Project(F)表示将所述分类矩阵图投影为向量， W1至Wn为各层全连接层的权重矩 阵， B1至Bn表示各层全连接层的偏置向量。 8.一种基于 视频的智慧养老监控方法， 其特 征在于， 包括： 获取由摄 像头采集的待监测老人在预定时间段的监控视频； 以预定采样周期和采样频率从所述监控视频提取多组监控关键帧序列， 其中， 每一组 所述监控关键帧序列的时间周期为 一个步态周期； 对所述多组监控关键帧序列中各组监控关键帧序列进行处 理以生成多个步态能量图； 将所述多个步态能量图中各个步态能量图通过包含多个混合卷积层的第一卷积神经 网络模型以得到多个步态能量特 征图； 分别对所述多个步态能量特征图中各个步态能量特征图进行特征增强以得到多个优 化步态能量特 征图；权　利　要　求　书 2/3 页 3 CN 115482498 A 3