(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210367160.4 (22)申请日 2022.04.08 (71)申请人 特斯联科技 集团有限公司 地址 101100 北京市通州区滨惠北一 街3号 院1号楼1- 6室 (72)发明人 王海　李东东　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 支宇鑫 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 菜品识别方法和装置、 存 储介质及电子设备 (57)摘要 本发明公开了一种菜品识别方法和装置、 存 储介质及电子设备。 其中， 所述方法包括： 获取待 识别的菜品图像的图像特征信息； 基于训练好的 菜品类别识别模型中的第一特征提取单元提取 所述图像特征信息中的局部图像特征； 基于所述 训练好的菜品类别识别模型中的第二特征提取 单元提取所述图像特征信息中的全局图像特征； 将所述局部图像特征和所述全局图像特征输入 至所述训练好的菜品类别识别模型中的全连接 层， 得到所述待识别的菜品图像在菜品数据库中 对应每个菜品类别的概率。 本发 明解决了相关技 术中菜品识别效率较低的技 术问题。 权利要求书2页 说明书9页 附图4页 CN 115222981 A 2022.10.21 CN 115222981 A 1.一种菜品识别方法， 其特 征在于， 包括： 获取待识别的菜品图像的图像特 征信息； 基于训练好的菜品类别识别模型中的第一特征提取单元提取所述图像特征信息中的 局部图像特 征； 基于所述训练好的菜品类别识别模型中的第二特征提取单元提取所述图像特征信息 中的全局图像特 征； 将所述局部图像特征和所述全局图像特征输入至所述训练好的菜品类别识别模型中 的全连接层， 得到所述待识别的菜品图像在菜品数据库中对应 每个菜品类别的概 率。 2.根据权利要求1所述的方法， 其特征在于， 所述基于训练好的菜 品类别识别模型中的 第一特征提取单元提取所述图像特 征信息中的局部图像特 征， 包括： 通过1*1卷积将所述 图像特征信息对应的原始特征图的通道数d提升为D； 其中， 所述D 和所述d为 正整数； 基于通道数D对所述原 始特征图进行 可分离的N*N卷积 操作； 其中， 所述 N为正整数； 利用1*1卷积 将所述D降低为所述d； 将所述原始特征图经过卷积操作后得到的目标特征图和所述原始特征图相加， 得到所 述局部图像特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述训练好的菜 品类别识别模型 中的第二特 征提取单元提取所述图像特 征信息中的全局图像特 征， 包括： 将所述局部图像特征对应的三维张量通过N*N卷积进行局部空间的特征提取， 并将提 取到的特 征基于1*1的卷积进行通道信息的融合， 得到融合后的图像特 征； 将所述融合后的图像特征输入多头自注意力模块进行计算， 得到可识别度最高的区域 图像特征； 利用1*1卷积对所述区域图像特 征的通道数进行调整， 得到调整后的图像特 征； 将所述调整后的图像特征和所述三维张量按照通道维度进行拼接， 得到拼接后的张 量； 对所述拼接后的张量进行N*N的卷积 操作， 得到所述全局图像特 征。 4.根据权利要求1至3中任一项所述的方法， 其特征在于， 所述第一特征提取单元和第 二特征提取单元的数量均为多个， 且每个所述第二特征提取单元的前后邻级 单元均为所述 第一特征提取单元。 5.根据权利要求3所述的方法， 其特征在于， 所述将所述局部图像特征对应的三维张量 通过N*N卷积进行局部空间的特 征提取之前， 还 包括： 对所述局部图像特 征对应的三维张量进行 下采样操作， 得到下采样后的三维张量。 6.根据权利要求4所述的方法， 其特征在于， 所述得到所述待识别的菜 品图像在菜 品数 据库中对应 每个菜品类别的概 率之后， 还 包括： 确定所述待识别的菜品图像与所述菜品数据库中每 个菜品类别对应的概 率最大值； 将所述概率最大值对应的菜品类别确定为目标菜品类别。 7.根据权利要求6所述的方法， 其特征在于， 所述将所述概率最大值对应的菜 品类别确 定为目标菜品类别之后， 还 包括： 根据所述目标菜品类别从所述菜品数据库中获取所述目标菜品类别的属性信息； 其权　利　要　求　书 1/2 页 2 CN 115222981 A 2中， 所述属性信息包括菜品的名称、 食材、 包 含的营养素； 显示所述属性信息 。 8.一种菜品识别装置， 其特 征在于， 包括： 获取单元， 用于获取待识别的菜品图像的图像特 征信息； 第一提取单元， 用于基于训练好的菜 品类别识别模型中的第 一特征提取单元提取所述 图像特征信息中的局部图像特 征； 第二提取单元， 用于基于所述训练好的菜 品类别识别模型中的第 二特征提取单元提取 所述图像特 征信息中的全局图像特 征； 输出单元， 用于将所述局部图像特征和所述全局图像特征输入至所述训练好的菜 品类 别识别模型中的全连接层， 得到所述待识别的菜品图像在 菜品数据库中对应每个菜品类别 的概率。 9.一种电子设备， 包括存储器和处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方 法。 10.一种计算机可读的存储介质， 其特征在于， 所述计算机可读的存储介质包括存储的 程序， 其中， 所述 程序运行时执 行所述权利要求1至7任一项中所述的方法。权　利　要　求　书 2/2 页 3 CN 115222981 A 3