(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210849341.0 (22)申请日 2022.07.19 (71)申请人 浙江旅游 职业学院 地址 310000 浙江省杭州市萧 山区高教园 区(钱江农场) (72)发明人 徐迅　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 胡琳丽 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/54(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06T 5/00(2006.01) G06T 7/45(2017.01) (54)发明名称 基于多传感器信息融合的辅助烹饪系统 (57)摘要 本申请公开了一种基于多传感器信息融合 的辅助烹饪系统， 其使用基于深度学习的深度神 经网络模型对电子眼采集的食材烹饪过程的监 控视频和电子鼻采集的所述食材烹饪过程中多 个预定时间点的气味数据进行编码以得到食材 烹饪图像特征向量和气味特征向量， 然后， 为了 提升所述食材烹饪图像特征向量和所述气味特 征向量在深层次的高维特征空间内的融合性能， 对两者进行特征向量的深度单应对齐式融合 以 得到包含图像语义的深层语义关联信息和气味 数据的时序关联信息的分类特征向量， 并通过分 类器以得到用于表示是否结束烹饪的分类结果， 通过这样的方式， 以避免食材过度烹饪或者未烹 饪充分就结束烹饪。 权利要求书2页 说明书13页 附图6页 CN 115187909 A 2022.10.14 CN 115187909 A 1.一种基于多传感器信息融合的辅助烹饪系统， 其特 征在于， 包括： 多传感器数据采集模块， 用于获取由电子眼采集的食材烹饪过程的监控视频和由电子 鼻采集的所述食材烹饪过程中多个预定时间点的气味数据； 当前帧提取模块， 用于从所述 监控视频中提取当前帧； 去除模块， 用于将所述当前帧通过基于深度神经网络的去雾生成器以得到去雾当前 帧； 纹理特征提取模块， 用于使用灰度共生矩阵对所述去雾当前帧进行处理以得到纹理特 征图； 数据集融合模块， 用于将所述纹理特征图和所述去雾当前帧在数据级进行级联以得到 多通道图像； 图像深度编码模块， 用于将所述多通道图像通过作为过滤器的第 一卷积神经网络以得 到食材烹饪图像特 征向量； 气味编码模块， 用于将所述食材烹饪过程中多个预定时间点的气味数据通过包含一维 卷积层和全连接层的时序编码器以得到气味特 征向量； 多传感器特征融合模块， 用于 融合所述食材烹饪图像特征向量和所述气味特征向量以 得到分类特 征向量； 以及 辅助烹饪结果生成模块， 用于将所述分类特征向量通过分类器以得到分类结果， 所述 分类结果用于表示是否结束烹饪。 2.根据权利要求1所述的基于多传感器信 息融合的辅助烹饪系统， 其中， 所述去雾生成 器为对抗 生成网络 。 3.根据权利要求2所述的基于多传感器信 息融合的辅助烹饪系统， 其中， 所述图像深度 编码模块， 进一步用于使用所述第一卷积神经网络的各层在层的正向传递中对所述多通道 图像进行卷积处理、 基于特征矩阵的均值池化处理和非线性激活处理以由所述第一卷积神 经网络的最后一层生成所述食材烹饪图像特 征向量。 4.根据权利要求3所述的基于多传感器信 息融合的辅助烹饪系统， 其中， 所述第 一卷积 神经网络的各层 使用的非线性激活函数为Mish激活函数， 所述Mish激活函数用公 式表示为 f(x)＝x.tanh(l n(1+ex))。 5.根据权利要求4所述的基于多传感器信 息融合的辅助烹饪系统， 其中， 所述气味编码 模块， 包括： 气味数据向量化单元， 用于将所述食材烹饪过程中多个预定时间点的气味数据按照时 间维度排列为输入向量； 全连接编码单元， 用于使用所述 时序编码器的全连接层以如下公式对所述输入向量进 行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征， 其中， 所述公 式为： 其中X是输入向量， Y是输出向量， W是权重矩阵， B是偏置向量， 表示矩阵乘； 以及 一维卷积编码单元， 用于使用时序编码器的一维卷积层以如下公式对所述输入向量进 行一维卷积编码以提取出所述输入向量中各个位置的特征值间的关联 的高维隐含关联特 征， 其中， 所述公式为：权　利　要　求　书 1/2 页 2 CN 115187909 A 2其中， a为卷积核在x方向上的宽度、 F为卷积核参数向量、 G为与卷积核函数运算的局部 向量矩阵， w 为卷积核的尺寸。 6.根据权利要求5所述的基于多传感器信 息融合的辅助烹饪系统， 其中， 所述多传感器 特征融合模块， 包括： 差分单元， 用于计算所述食材烹饪图像特征向量和所述气味特征向量之间的差分特征 向量； 范数计算单 元， 用于计算所述差分特 征向量的一范 数； 向量对数运算单元， 用于计算所述差分特征向量中各个位置的特征值的对数函数值以 得到对数差分特 征向量； 关联矩阵计算单元， 用于计算所述食材烹饪图像特征向量和所述气味特征向量之间的 全场景单应关联矩阵； 深度感知单元， 用于计算所述全场景单应关联矩阵的Frobenius范数作为深度感知特 征值； 以及 融合单元， 用于以所述差分特征向量的一范数作为权重和所述深度感知特征值作为偏 置项对所述对数差分特 征向量进行 校正以得到所述分类特 征向量。 7.根据权利要求6所述的基于多传感器信息融合的辅助烹饪系统， 其中， 所述融合单 元， 进一步用于以所述差分特征向量的一范数作为权重和所述深度感知特征值作为偏置项 以如下公式对所述对数差分特 征向量进行 校正以得到所述分类特 征向量； 所述公式为： 其中， 为所述差分特征向量的一范数， ||ViTVs||F为所述深度感知特征值， 为所述对数差分特征向量， Vi为所述食材烹饪图像特征向量且Vs为所述气 味特征向量。 8.根据权利要求7所述的基于多传感器信 息融合的辅助烹饪系统， 其中， 所述辅助烹饪 结果生成模块， 进一步用于使用所述分类器以如下公式对所述分类特征向量进行 处理以得 到所述分类结果； 其中， 所述公 式为： softmax{(Wn,Bn):…:(W1,B1)|X}， 其中， W1到Wn为权重矩阵， B1到Bn为 偏置向量， X为分类特 征向量。权　利　要　求　书 2/2 页 3 CN 115187909 A 3