(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210357486.9 (22)申请日 2022.04.07 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号哈尔滨理工大 学 申请人 哈尔滨鹏路智能科技有限公司 (72)发明人 庞广龙　张开玉　王鹏　王世龙　 王月　 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/44(2022.01) G06V 10/42(2022.01) G06V 10/56(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于卷积神经网络的服装识别方法 (57)摘要 本发明公开了一种基于卷积神经网络的服 装识别方法， 主要解决现有服装识别算法对服装 属性识别结果单一、 准确率低的问题。 其方案 是： （1） 对公开的服装识别数据集进行筛选并补充， 采用层级标签标注方法制作融合数据集； （2） 将 ResNet18网络模型与EfficentNet网络模型相结 合， 简化网络结构； （3） 将不同网络模型输出的特 征向量进行相加， 得到融合特征向量， 结合 Sigmoid损失函数进行分类； （4）对改造后 ResNet18+EfficentNet融合网络进行训练和测 试。 本发明提高了对具有多种属性标签的服装识 别精度， 实现了服装多标签识别分类， 可应用于 电商平台的服装检索和推荐领域， 在购物过程中 为消费者带来便利。 权利要求书2页 说明书6页 附图4页 CN 114694012 A 2022.07.01 CN 114694012 A 1.一种基于卷积神经网络的服装识别方法， 其特 征在于： 所述方法通过以下步骤实现： 对公开的服装识别数据集进行补充和重建， 制作服装识别融合数据集： （1‑1） 制作融合服装图像： 利用爬虫技术， 从网络平台获取不同属性风格的服装图像， 根据图像的质量对图像进行初筛 选， 并与公开的服装识别数据集进行融合， 获得N1张图片； （1‑2） 数据集图像筛选： 公开数据集和网络平台中的服装图像会存在尺寸较小、 分辨率 低、 风格属性不具备普遍性等问题， 对存在以上问题的图像进 行筛选； 去除服装在图片中占 比小于40%的图像、 去除模糊服装图像、 去除风格属性不具备普遍性的图片， 最终获得N2张 图片； （1‑3） 层级标签标注： 对筛选获得的N2张图片进行属性划分， 采用层级标签标注的方法 将图片样本按照颜色、 款式、 类别分为三大类； 在颜色层级中， 继续划分为中性色、 暖色、 冷 色三类； 在款式层级中， 继续划分为领口样式、 图案样式、 版型样式； 在类别层级中， 继续划 分为裤子、 卫衣、 短袖、 衬衫、 裙子、 夹克； 在N2张照片中随机选取N3张图片作为训练数据， 剩 余的N4张图片作为测试 数据； （1‑4） 数据增强： 使用Rand  Augmention数据增强方法对数据进行增强， 每次对图片进 行随机旋转、 翻转和缩放 等操作， 对服装识别融合数据集进行扩增， 增 加网络鲁棒性； 将残差网络与Ef ficentNet网络模型相结合： （2‑1） 简化残差网络： 原始残差网络选择ResNet18网络模型； 原ResNet18网络模型共使 用16个卷积层、 1个全连接层； 将以上结构进 行改造， 去掉最后四个3 ×3×512卷积核和一个 全连接层， 替换成一个3 ×3×512卷积核和一个1 ×1×1280全连接层， 使原结构更新为由15 个卷积层、 1个全连接层构成； 其中卷积层滤波器数量分别为64、 128、 25 6、 512； （2‑2） EfficentNet网络模型改造： 去掉EfficentNet网络模型中stage9中的池化层和 其中一个全连接层， 保留一个1 维升维卷积层； （2‑3） 简化后的ResNet18网络模型和改造后的EfficentNet网络模型建立模型融合网 络： 服装图像进入两个分支， 主分支为改造后的EfficentNet网络模型， 次分支为简化后的 ResNet18网络模型； 服装图像通过两个分支后得到两个尺寸相同、 包含不同特征信息的特 征向量， 将两个特征向量进行融合操作得到多模型融合特征向量； 将得到的多模型融合特 征向量通过一个全局平均池化层和Sigmo id激活函数层； （3） 对改造的ResNet18+Ef ficentNet融合网络进行训练和 测试： 对服装识别 融合数据集进行训练， 剖析整个网络训练的损 失函数， 若不收敛则不断迭 代更新网络参数调整网络结构， 重新对网络进行训练， 若整个网络区域收敛则得到服装识 别网络模型， 对得到的网络模型进行测试得到分类的准确 率， 通过比较和评价得到对服装 类别的分类结果， 实现对服装多标签识别与分类。 2.根据权利要求1所述一种基于卷积神经网络的服装识别方法， 其特征在于： 将服装识 别融合到ResNet18+EfficentNet网络中； 将服装识别融合数据集中图片输入到网络模型 中， 1个训练批次送入32 张服装图像， 简化的EfficentNet网络对服装图像进行全局特征提 取， 简化的ResNet18网络对服装图像进 行局部特征提取； 将得到的不同特征向量进 行融合， 最后经过Sigmoid损失函数 处理； 将服装识别问题看成多个二分类问题， 实现服装多 标签分 类， 得到服装属性的识别准确率。 3.根据权利要求1所述一种基于卷积神经网络的服装识别方法， 其特征在于： 所述网络权　利　要　求　书 1/2 页 2 CN 114694012 A 2结构为： 在简化的ResNet18网络模型中， Input （224 ×224×3） 层连接Conv1(112 ×112×64) 层， Conv1(112 ×112×64)层连接MaxPool （56 ×56×64） 层， MaxPool （56 ×56×64） 层连接残 差块Conv2_1(56 ×56×64)层， Conv2_1(56 ×56×64)层连接Conv2_2(56 ×56×64)层， Conv2_2(56 ×56×64)层连接Conv3_1(28 ×28×128)层， Conv3_1(28 ×28×128)层连接 Conv3_2(28 ×28×128)层， Conv3_2(28 ×28×128)层连接Conv4_1(14 ×14×256)层， Conv4_1(14 ×14×256)层连接Conv4_2(14 ×14×256)层， Conv4_2(14 ×14×256)层， Conv4_2(14 ×14×256)层连接升维卷积Conv6 （7 ×7×1280） 层； 在简化的Effic entNet网络 模型中， Input （224 ×224×3） 层连接升维卷积Conv1 （224 ×224×32） 层， Conv1 （224 ×224× 32） 层连接MBConv1(112 ×112×16)层， MBConv1(112 ×112×16)层连接MBConv6(112 ×112 ×24)层， MBConv6(112 ×112×24)层连接MBConv6(56 ×56×40)层， MBConv6(56 ×56×40) 层连接MBConv6(28 ×28×80)层， MBConv6(28 ×28×80)层连接MBConv6(14 ×14×112)层， MBConv6(14 ×14×112)层连接MBConv6(14 ×14×192)层， MBConv6(14 ×14×192)层连接 MBConv6(7 ×7×320)层， MBConv6(7 ×7×320)层连接Conv2 （7 ×7×1280） 层； 简化后的 ResNet18网络模型和Effic entNet网络模型共 享同一个输入层 （224 ×224×3） ， 将ResNet18 网络模型输出的局部特征向量和EfficentNet网络模型输出的全局特征向量进行融合操 作， 得到融合特 征向量依次通过全局平均池化层和全连接层分类 器。 4.根据权利要求1所述一种基于卷积神经网络的服装识别方法， 其特征在于： 服装识别 分类结果包括： 暖色连帽领卫衣、 暖色圆领卫衣、 暖色长款裙装、 暖色短款裙装、 暖色无图案 短袖、 暖色有图案短袖、 暖色格子衬衣、 暖色修长裤子、 暖色宽松裤子、 冷色连帽领卫衣、 冷 色圆领卫衣、 冷色长款裙装、 冷色短款裙装、 冷色无图案 短袖、 冷色有图案 短袖、 冷色格子衬 衣、 冷色修长裤子、 冷色宽松裤子、 中性色连帽领卫衣、 中性色圆领卫衣、 中性色长款裙装、 中性色短款裙装、 中性色无图案短袖、 中性色有图案短袖、 中性色格子衬衣、 中性色修长裤 子、 中性色宽松裤子、 正装。权　利　要　求　书 2/2 页 3 CN 114694012 A 3