(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211161523.5 (22)申请日 2022.09.23 (71)申请人 北京智源人工智能研究院 地址 100084 北京市海淀区中关村东路1号 院8号楼三层B201D-1 (72)发明人 李利明　李钊　翁翔羽　张兴明　 (74)专利代理 机构 北京千壹知识产权代理事务 所(普通合伙) 11940 专利代理师 王玉玲 (51)Int.Cl. G06V 20/68(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/46(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多特征融合的食物识别系统及方 法 (57)摘要 本发明涉及 图像识别及 图形数据处理技术 领域， 公开了一种基于多特征融合的食物识别系 统及方法， 包括： 接收输入的原始食物图像， 分别 提取该原始食物图像的全局特征、 SIFT特征和卷 积特征； 将原始食物图像的全局特征、 SIFT特征 和卷积特征融合相加， 并将结果输出至第一全 连 接层； 利用归一化指数函数对所述第一全连接层 的输出进行归一化。 本发明基于注意力机制， 加 入SIFT特征， 并且融合了基于深度可分离卷积的 CNN特征， 可以有效提升食物识别的精度， 且在复 杂场景下有较高的鲁棒 性。 权利要求书2页 说明书8页 附图7页 CN 115311655 A 2022.11.08 CN 115311655 A 1.一种基于多特 征融合的食物 识别方法， 其特 征在于， 包括如下步骤： 接收输入的原始食物图像， 分别提取所述原始食物图像的全局特征、 SIFT特征和卷积 特征； 将所述原始食物图像的全局特征、 SIFT特征和卷积特征融合相加， 并将结果输出至第 一全连接层； 利用归一 化指数函数对所述第一全连接层的输出进行归一 化。 2.根据权利要求1所述的一种基于多特征融合的食物识别方法， 其特征在于， 提取所述 原始食物图像的全局特 征的步骤 包括： 将所述原始食物图像输入至全局特征提取模块， 所述全局特征提取模块包括依次连接 的图像补丁分割模块、 第一网络模块、 第二网络模块、 第三网络模块、 第四网络模块、 第一平 均池化模块和第二全连接层； 所述图像补丁分割模块用于将所述原 始食物图像分割为 n×n的图像补丁； 所述第一网络模块包括依次连接的1个Linear  Embeddding模块和2个Swin   Transformer模块； 所述1个Linear  Embeddding模块用于对输入的 图像补丁进行线性编码； 所述2个Swin Transformer模块为依次相连的1个W ‑MSA模块和1个SW ‑MSA模块， 用于对线 性 编码后的数据进行 特征提取； 所述第二网络模块包括依次连接的1个patch  merging模块和2个Swin  Transformer模 块； 所述1个patch  merging模块用于对输入数据进行降采样处理； 所述2个Swin   Transformer模块 为依次相连的1个W ‑MSA模块和1个SW ‑MSA模块； 所述第三网络模块包括依次连接的1个patch  merging模块和6个Swin  Transformer模 块； 所述1个patch  merging模块用于对输入数据进行降采样处理； 所述6个Swin   Transformer模块为依次相连的3组注意力模块， 每组注意力模块包括依次连接的1个W ‑MSA 模块和1个SW ‑MSA模块； 所述第四网路模块包括依次连接的1个patch  merging模块和2个Swin  Transformer模 块； 所述1个patch  merging模块用于对输入数据进行降采样处理； 所述2个Swin   Transformer模块 为依次连接的1个W ‑MSA模块和1个SW ‑MSA模块。 3.根据权利要求1所述的一种基于多特征融合的食物识别方法， 其特征在于， 提取所述 原始食物图像的SIFT特 征的步骤 包括： 对于输入的所述原始食物图像在尺度空间中检测极值点， 提取位置、 尺度和旋转不变 量特征， 并将其抽象成特 征向量， 输出SIFT特 征向量。 4.根据权利要求1所述的一种基于多特征融合的食物识别方法， 其特征在于， 提取所述 原始食物图像的卷积特 征的步骤 包括： 将所述原 始食物图像输入至卷积神经网络特 征提取模块； 所述卷积神经网络特征提取模块包括依次连接的第一卷积模块、 第一Mobilenetv2卷 积模块、 第二Mobi lenetv2卷积模块、 第二卷积模块、 第二平均池化模块和第三全连接层； 其中， 所述第一卷积模块用于提取低维度的卷积特征， 所述第一Mobilenetv2卷积模块 和第二Mobilenetv2卷积模块通过增加图像的通道数提取更高维度的卷积特征； 所述第二 卷积模块用于特 征降维。 5.根据权利要求4所述的一种基于多特征融合的食物识别方法， 其特征在于， 所述第 一权　利　要　求　书 1/2 页 2 CN 115311655 A 2卷积模块包括依次连接的第一卷积层、 第一批量归一 化层和第一激活函数层； 所述第一卷积层用于对输入数据进行特征提取， 所述第 一批量归一化层用于加快训练 和收敛的速度， 所述第一激活函数层用于 完成数据的非线性变换。 6.根据权利要求4所述的一种基于多特征融合的食物识别方法， 其特征在于， 所述第 一 Mobilenetv2卷积模块包括依次连接的第一卷积层、 第一批量归一化层、 第一激活函数层、 第一深度可分离卷积层、 第二批量归一化层、 第二激活函数层、 第二卷积层、 第三批量归一 化层和第三激活函数层； 所述第一深度可分离卷积层用于轻量 化卷积神经网络 。 7.根据权利要求4所述的一种基于多特征融合的食物识别方法， 其特征在于， 所述第 二 Mobilenetv2卷积模块包括依次连接的第一卷积层、 第一批量归一化层、 第一激活函数层、 第一深度可分离卷积层、 第二批量归一化层、 第二激活函数层、 第二卷积层、 第三批量归一 化层和第三激活函数层； 所述第一深度可分离卷积层用于轻量 化卷积神经网络 。 8.根据权利要求4所述的一种基于多特征融合的食物识别方法， 其特征在于， 所述第 二 卷积模块包括依 次连接的第一卷积层、 第一批量归一化层和第一激活函数层； 所述第一卷 积层用于对输入数据进行特征提取， 所述第一批量归一化层用于加快训练和收敛的速度， 所述第一激活函数层用于 完成数据的非线性变换。 9.根据权利要求1所述的一种基于多特征融合的食物识别方法， 其特征在于， 还包括模 型训练步骤： 制作训练集和 测试集； 定义训练模型的超参数； 将交叉熵损失作为损失函数； 以最小化损失值 为目标， 利用训练集 不断迭代训练模型的参数； 当损失值的下降幅度在预定范围内时， 停止训练， 获得训练后的模型； 加载训练后的模型， 利用测试集进行评估。 10.一种基于多特 征融合的食物 识别系统， 其特 征在于， 包括： 全局特征提取模块， 用于 接收输入的原 始食物图像， 并提取图像中的全局特 征； SIFT特征提取模块， 用于 接收输入的原 始食物图像， 并提取图像中的SIFT特 征； 卷积神经网络特征提取模块， 用于接收输入的原始食物图像， 并提取图像中的卷积特 征； 特征融合模块， 用于将所述全局特征、 SIFT特征和卷积特征融合相加， 并将结果输出至 第一全连接层； 第一全连接层， 用于对融合相加后的特 征进行分类； 归一化模块， 用于对所述第一全连接层的输出进行归一 化处理。权　利　要　求　书 2/2 页 3 CN 115311655 A 3