(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210889141.8 (22)申请日 2022.07.27 (71)申请人 浙江旅游 职业学院 地址 310000 浙江省杭州市萧 山区高教园 区(钱江农场) (72)发明人 徐迅　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 胡琳丽 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/68(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 食材质量 监控系统 (57)摘要 本申请公开了一种食 材质量监控系统， 其使 用基于深度学习的深度神经网络模型对电子眼 采集的待监控食材的监控视频的包含当前帧在 内的多个关键帧分别进行深层特征提取和纹理 特征提取， 并将深层食材特征向量和纹理特征向 量在高维特征空间中进行融合 以得到对应于各 个关键帧的食材状态向量， 然后， 对所述各个关 键帧的食材状态向量进行特征分布校正 以得到 对应于各个关键帧的校正后食材状态向量， 最 后， 将所述各个 关键帧的校正后食 材状态向量排 列为向量序列后通过基于转换器的上下文编码 器以得到食 材质量特征向量， 并通过分类器以得 到用于表示食材的质量是否满足预定要求的分 类结果， 这样就能更为准确和高效的对食材质量 进行鉴别。 权利要求书2页 说明书12页 附图6页 CN 115205788 A 2022.10.18 CN 115205788 A 1.一种食材质量 监控系统， 其特 征在于， 包括： 食材监控数据采集模块， 用于获取由部署于智能中央厨房的电子眼采集的待监控食材 的监控视频； 关键帧提取模块， 用于从所述 监控视频中提取包 含当前帧在内的多个关键帧； 关键帧深度编码模块， 用于将所述多个关键帧中的各个关键帧分别通过作为过滤器的 第一卷积神经网络以得到对应于各个关键帧的深层食材 特征向量； 纹理特征提取模块， 用于使用灰度共生矩阵分别对所述多个关键帧中的各个关键帧进 行纹理特征提取以得到对应于各个关键帧的纹 理特征图； 纹理特征深度编码模块， 用于将所述各个关键帧的纹理特征图通过作为过滤器的第 二 卷积神经网络以得到对应于各个关键帧的纹 理特征向量； 特征融合模块， 用于融合所述各个关键帧的深层食材特征向量和所述各个关键帧的纹 理特征向量以得到对应于各个关键帧的食材状态向量； 特征分布调 整模块， 用于对所述各个关键帧的食材状态向量进行特征分布校正以得到 对应于各个关键帧的校正后食材状态向量； 长依赖语义关联编码模块， 用于将所述各个关键帧的校正后食材状态向量排列为向量 序列后通过基于转换器的上 下文编码器以得到食材质量特 征向量； 以及 食材监控结果生成模块， 用于将所述食材质量特征向量通过分类器以得到分类结果， 所述分类结果用于表示食材的质量是否满足预定要求。 2.根据权利要求1所述的食材质量监控系统， 其中， 所述关键帧深度编码模块， 进一步 用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进 行卷积处理、 基于特征矩阵的全局均值池化处理和非线性激活处理以由所述第一卷积神经网络的最后 一层输出 所述深层食材 特征向量。 3.根据权利要求2所述的食材质量监控系统， 其中， 所述纹理特征深度编码模块， 进一 步用于使用所述第二卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处 理、 基于特征矩阵的全局均值池化处理和非线性激活处理以由所述第一卷积神经网络的最 后一层输出 所述纹理特征向量。 4.根据权利要求3所述的食材质量监控系统， 其中， 所述第 一卷积神经网络和所述第 二 卷积神经网络的各层 使用的非线性激活函数为Mish激活函数， 所述Mish激活函数用公式表 示为f(x)＝x.tanh(l n(1+ex))。 5.根据权利要求4所述的食材质量监控系统， 其中， 所述特征分布调整模块， 进一步用 于对所述各个关键 帧的食材状态向量进行类条件边界约束以得到所述各个关键 帧的校正 后食材状态向量。 6.根据权利要求5所述的食材质量监控系统， 其中， 所述特征分布调整模块， 进一步用 于以如下公式对所述各个关键 帧的食材状态向量进行类条件边界约束以得到所述各个关 键帧的校正后食材状态向量； 其中， 所述公式为： 权　利　要　求　书 1/2 页 2 CN 115205788 A 2其中， v′i为所述校正后食材状态向量中各个位置的特征值， vi为所述食材状态向量中 各个位置的特 征值。 7.根据权利要求6所述的食材质量监控系统， 其中， 所述长依赖语义关联编码模块， 包 括： 上下文编码单元， 用于使用所述上下文编码器的基于转换器的Bert模型对所述向量序 列进行上下文语义编码以得到多个特 征向量； 向量级联 单元， 用于将所述多个特 征向量进行级联以得到所述食材质量特 征向量。 8.根据权利要求7所述的食材质量监控系统， 其中， 所述食材监控结果生成模块， 进一 步用于使用所述分类器以如下公式对所述食材质量特征向量进行处理以得到所述分类结 果； 其中， 所述公式为： 所述公式为： softmax{(Wn， Bn)： ...： (W1， B1)|X}， 其中， W1到Wn为权重 矩阵， B1到Bn为偏置向量， X为分类特 征向量。权　利　要　求　书 2/2 页 3 CN 115205788 A 3