(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152371.2 (22)申请日 2022.09.21 (71)申请人 中科方寸知微 （南京） 科技有限公司 地址 211100 江苏省南京市江宁区麒 麟科 技创新园创研路266号人工智能产业 园3号楼203B室 (72)发明人 潘小功　冷聪　 (74)专利代理 机构 南京泰普专利代理事务所 (普通合伙) 32360 专利代理师 方晓雯 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种基于深度学习CNN的眼镜推荐方法、 系 统、 设备及存 储介质 (57)摘要 本发明提出一种基于深度学习CNN的眼镜推 荐方法、 系统、 设备及存储介质， 属于人脸识别的 技术领域。 其中方法包括： 构建人脸特征数据存 储数据库； 通过信息采集设备获取用户人脸特征 数据， 并将获取到的用户人脸特征数据与人脸特 征数据存储 数据库中的人脸特征数据进行匹配； 根据人脸特征数据匹配结果获取用户的脸型数 据， 并根据脸型数据 自动推荐适合的眼镜。 本发 明通过一个深度学习模型， 当用户上传一张自己 的脸部图片， 通过本系统生成新的人脸特征数 据， 使用匹配算法将用户的特征数据与人脸图像 特征数据库的人脸特征进行匹配， 中找到对应的 脸型， 然后找到此脸型对应的眼镜类型， 方便用 户根据系统推荐完成眼镜的选择。 权利要求书2页 说明书7页 附图2页 CN 115457637 A 2022.12.09 CN 115457637 A 1.一种基于深度学习CN N的眼镜推荐方法， 其特 征在于， 具体包括以下步骤： 步骤1、 构建人脸特 征数据存储数据库； 步骤2、 通过信 息采集设备获取用户人脸特征数据， 并将获取到的用户人脸特征数据与 人脸特征数据存储数据库中的人脸特 征数据进行匹配； 步骤3、 根据人脸特 征数据匹配结果获取用户的脸型 数据； 步骤4、 构建匹配算法模型， 并根据脸型 数据推荐适配度高的眼镜； 步骤5、 通过视频直接添加眼镜数据的方式， 将适配度高的匹配结果实时显示在客户端 界面； 步骤6、 通过用户主动调整视频拍摄过程中人脸和眼镜切合的位置， 经由确认后进行拍 摄保存。 2.根据权利要求1所述的一种基于深度学习CNN的眼镜推荐方法， 其特征在于， 所述人 脸特征数据存储数据库中包 含与不同脸型适配的眼镜类型图像数据匹配集 合； 所述匹配集 合的获得 过程包括以下步骤： 步骤1.1、 构建CNN网络对含人脸的眼镜类型图像数据进行特征提取， 并图像数据中的 脸型和眼镜类型进行 标签化处 理； 步骤1.2、 将提取到特 征进行归类处 理； 步骤1.3、 对归类后同一脸型的面部特征进行组合备用， 并根据代表用户喜好程度的图 片点击浏览量， 添加对应的眼镜类型特征， 形成脸型和眼镜类型对应的特征数据进 行保存， 用作后续的眼镜类型参 考。 3.根据权利 要求2所述的一种基于深度学习CNN的眼镜推荐方法， 其特征在于， 构 建CNN 网络的过程具体包括以下步骤： 步骤1.1.1、 建立卷积层， 对接收到的图像数据并进行 特征提取； 步骤1.1.2、 建立池化层， 对卷积层提取到的特 征进行选择； 步骤1.1.3、 建立连接层， 对经过池化层的特征进行分类， 同时经过归一化操作将更新 的特征映射到样本标签空间中， 等待传输 。 4.根据权利要求3所述的一种基于深度学习CNN的眼镜推荐方法， 其特征在于， 所述卷 积层中包含卷积核， 在图像特征提取过程， 利用同一个卷积核进 行相同的特征提取， 特征提 取过程为： 式中， Y表示特征图的输出值； X表示参考照片的输入值； K表示不同级别的卷积核； B表 示不同级别的特 征偏置值； N表示特 征核的总个数； i表示卷积的计算。 5.根据权利要求3所述的一种基于深度学习CNN的眼镜推荐方法， 其特征在于， 所述池 化层通过使用平均值替代法和最大值替代法两种计算模式进 行特征类型聚合， 实现特征的 提取选择。 6.根据权利要求3所述的一种基于深度学习CNN的眼镜推荐方法， 其特征在于， 所述连 接层对输入和输出之间的映射关系进行 学习， 实现端口之间数据的传输； 映射关系学习过程中， 采用监督学习方法同步进行向前和向后两种数据传播， 学习归 类数据时向前传播， 提取 特征时向后传播；权　利　要　求　书 1/2 页 2 CN 115457637 A 2通过比对两次反向数据处 理过程之间的差异性， 完成误差参数的调整。 7.根据权利要求1所述的一种基于深度学习CNN的眼镜推荐方法， 其特征在于， 在寻找 匹配眼镜的过程中， 用户除了可以直接选择匹配模型推荐的眼镜， 还可以选择在自我描述 脸型后， 选择模型推荐的眼镜类别， 具体包括以下步骤： 步骤a、 判断是否 接收到用户自我脸型的描述； 步骤b、 当判断结果 为是时， 跳转至步骤c； 反 之， 跳转至步骤f； 步骤c、 接收用户对自己脸型的描述， 直接利用匹配模型输出脸型描述对应的推荐眼 镜； 步骤d、 判断推荐结果与用户的满意 程度； 步骤e、 当判断结果没有用户钟意的眼镜时， 跳转至步骤f； 反 之， 跳转至步骤g； 步骤f、 触发信息采集设备进行人脸特征数据获取， 并利用匹配模型进行数据分析， 根 据分析结果获取匹配后的推荐眼镜； 步骤g、 采用信息采集设备对当前的匹配结果进行拍摄留图。 8.一种基于深度 学习CNN的眼镜推荐系统， 用于实现如权利要求1 ‑7任意一项所述的眼 镜推荐方法， 其特 征在于， 具体包括以下模块： 图片数据流管理模块， 被设置为接收包含人脸的眼镜类型图像数据， 并对图像数据中 的脸型和眼镜类型进 行数据标签化的处理； 同时通过构建的CNN网络对图像数据进 行分析， 生成存储脸型与眼镜匹配结果的眼镜类型参照数据库； 长相识别单元， 被设置为对用户的人脸进行脸型识别， 并通过关键部位识别的方式， 定 位眉部、 眼部和鼻翼三种 具体的面部区域， 并将定位到的区域作为后续确认眼镜类型 的依 据； 质量评价模块， 被设置为汇总不同种脸型与眼镜匹配结果的评价， 结合用户实时使用 的评价， 对每一 款脸型匹配的眼镜进行排名更新， 以及推荐。 9.一种基于深度学习CN N的眼镜推荐设备， 其特 征在于， 所述设备包括： 处理器以及存 储有计算机程序指令的存 储器； 所述处理器读取并执行所述计算机程序指令， 以实现如权利要求1 ‑7任意一项所述的 眼镜推荐方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序指令， 所述计算机程序指令被处理器执行时实现如权利要求1 ‑7任意一项所述的眼镜 推荐方法。权　利　要　求　书 2/2 页 3 CN 115457637 A 3