(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210235834.5 (22)申请日 2022.03.11 (71)申请人 杭州芮科 科技有限公司 地址 310000 浙江省杭州市萧 山区宁围街 道传化科创大厦1幢215 -2室 (72)发明人 赵家伟　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 胡琳丽 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06K 9/00(2022.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 可穿戴设备的手臂手势交互方法、 系统和电 子设备 (57)摘要 本申请涉及可穿戴设备的指令交互的领域， 其具体地公开了一种可穿戴设备的手臂手势交 互方法、 系统和电子设备。 其通过卷积神经网络 模型对所述手臂 图像的序列以及生物电信号的 信号波形图进行处理， 以提取出所述图像序列中 的运动信息和所述信号波形图中的局部关联特 征， 进一步基于似然性最大化的高斯密度图对所 述特征向量和所述特征矩阵进行有效地融合， 以 使得后续分类的结果更为准确。 这样， 可 以更精 准地对手势 手臂类型进行识别， 以更加准确地理 解人体的行为所表达的意愿， 进而给人们带来更 加满意的体验感。 权利要求书3页 说明书13页 附图5页 CN 114647310 A 2022.06.21 CN 114647310 A 1.一种可穿戴设备的手臂手势交 互方法， 其特 征在于， 包括： 获取由摄 像头采集的手臂图像的序列； 将所述手臂图像的序列输入作为过滤器的第一卷积神经网络以获得长度为所述第一 卷积神经网络的通道数的特 征向量； 获取由肌电传感器在采集所述手臂图像的序列的时间内所捕捉的生物电信号的信号 波形图； 将所述信号波形图输入作为特征提取器的第 二卷积神经网络以获得尺寸为宽度* 高度 的特征矩阵， 所述宽度为所述信号波形图的宽度， 所述高度为所述信号波形图的高度； 通过线性变换将所述特征向量和所述特征矩阵转化相同尺度， 其中， 所述特征向量V的 长度为L， 所述特 征矩阵M的尺寸 为L×L； 基于所述特征向量V和所述特征矩阵M， 构造基于似然性最大化的高斯密度图的向量化 的高斯分布， 其中， 所述向量化的高斯分布的均值向量基于所述特征向量V与所述特征矩阵 M之间的点乘确定， 所述向量化的高斯分布的方差矩阵基于所述特征向量V与所述特征矩阵 M之间的点乘与所述均值向量之间的差值确定； 对所述向量 化的高斯分布的每 个位置的高斯分布进行高斯离 散化以获得分类特 征图； 将所述分类特征图通过分类器以获得所述手臂图像的序列和所述信号波形图归属于 预定手势的概 率； 基于所述手臂图像的序列和所述信号波形图归属于预定手势 的概率， 确定手势类型； 以及 基于所述手势类型， 确定交 互指令。 2.根据权利要求1所述的可穿戴设备的手臂手势交互方法， 其中， 将所述手臂图像的序 列输入作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的 特征向量， 包括： 对所述手臂图像的序列输入所述第一卷积神经网络以获得手臂特 征图； 对所述手臂特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述手臂特 征图沿通道维度的每个特征矩阵转化为一个全局特征值， 以获得由多个全局特征值组成的 所述特征向量。 3.根据权利要求2所述的可穿戴设备的手臂手势交互方法， 其中， 对所述手臂特征图的 沿通道维度的每个特征矩阵进行全局池化处理以将所述手臂特征图沿通道维度的每个特 征矩阵转 化为一个全局特 征值， 以获得由多个全局特 征值组成的所述特 征向量， 包括： 对所述手臂特征图的沿通道维度的每个特征矩阵进行全局平均值池化处理或全局最 大值池化处理以将所述手臂特征图沿通道维度的每个特征矩阵转化为一个所述全局特征 值。 4.根据权利要求3所述的可穿戴设备的手臂手势交互方法， 其中， 将所述信号波形图输 入作为特 征提取器的第二卷积神经网络以获得尺寸 为宽度*高度的特 征矩阵， 包括： 将所述信号波形图输入所述第二卷积神经网络以获得信号特 征图； 和 对所述信号特 征图进行沿通道维度的池化处 理以获得 所述特征矩阵。 5.根据权利要求4所述的可穿戴设备的手臂手势交互方法， 其中， 将所述信号波形图输 入所述第二卷积神经网络以获得信号特 征图， 包括：权　利　要　求　书 1/3 页 2 CN 114647310 A 2所述第二卷积神经网络以如下公式对所述信号波形图进行处理以获得所述信号特征 图； 其中， 所述公式为： fi＝active(Ni×fi‑1+Bi) 其中， fi‑1为第i层第二卷积神经 网络的输入， fi为第i层第二卷积神经网络的输出， Ni为 第i层第二卷积神经网络的过滤器， 且Bi为第i层第二卷积神经网络的偏置矩阵， active表 示非线性激活函数。 6.根据权利要求5所述的可穿戴设备的手臂手势交互方法， 其中， 基于所述特征向量V 和所述特 征矩阵M， 构造基于似然性 最大化的高斯密度图的向量 化的高斯分布， 包括： 基于所述特征向量V和所述特征矩阵M， 构造基于似然性最大化的高斯密度图的所述向 量化的高斯分布； 其中， 所述向量 化的高斯分布的均值向量， 用公式表示 为： 其中， 所述向量 化的高斯分布的方差矩阵， 用公式表示 为： ∑＝V×((V×M‑μ )⊙(M×V‑μ ))T 其中， 表示点加， 而⊙表示点乘。 7.根据权利要求6所述的可穿戴设备的手臂手势交互方法， 其中， 将所述分类特征图通 过分类器以获得 所述手臂图像的序列和所述信号波形图归属于预定手势的概 率， 包括： 使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以获得分类特征 向量； 以及 将所述分类特征向量输入所述分类器的Softmax分类函数以获得所述分类特征向量归 属于预定手势的概 率。 8.一种可穿戴设备的手臂手势交 互系统， 其特 征在于， 包括： 图像序列采集单 元， 用于获取由摄 像头采集的手臂图像的序列； 第一卷积神经网络处理单元， 用于将所述图像序列采集单元获得的所述手臂图像的序 列输入作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的 特征向量； 波形图获取单元， 用于获取由肌电传感器在采集所述手臂图像的序列的时间内所捕捉 的生物电信号的信号波形图； 第二卷积神经网络处理单元， 用于将所述波形图获取单元获得的所述信号波形图输入 作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵， 所述宽度为所 述信号波形图的宽度， 所述高度为所述信号波形图的高度； 尺度转化单元， 用于通过线性变换将所述第 一卷积神经网络处理单元获得的所述特征 向量和所述第二卷积神经网络处理单元获得 的所述特征矩阵转化相同尺度， 其中， 所述特 征向量V的长度为 L， 所述特 征矩阵M的尺寸 为L×L； 高斯分布构造单元， 用于基于所述尺度转化单元获得的所述特征向量V和所述尺度转 化单元获得的所述特征矩阵M， 构 造基于似然性最大化的高斯密度图的向量化的高斯分布， 其中， 所述向量化的高斯分布的均值向量基于所述特征向量V与所述特征矩阵M之间的点乘权　利　要　求　书 2/3 页 3 CN 114647310 A 3