(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210123927.9 (22)申请日 2022.02.10 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 杜金莲　黄红蝶　苏航　金雪云　 赵青　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 沈波 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种垃圾自动分拣多目标检测方法 (57)摘要 本发明公开了一种垃圾自动分拣多目标检 测方法， 包括， 步骤一： 输入 图像， 并将图像规格 化为网络结构的标准输入大小。 步骤二： 预处理 是指对图像进行降噪。 步骤三： 特征提取器包括 五个特征提取单元和小目标提取单元， 将这五个 特征以及小目标提取单元提取到的特征进行特 征融合。 步骤四： 将步骤三得到的特征作为此部 分全连接层的输入， 输出值作为softmax函数的 输入， 得到最终的分类结果。 步骤五： 输出分类结 果。 使用局部注意力机制与全局注 意力机制相结 合的方法， 使网络关注检测目标而忽略对特征提 取有干扰的背景信息。 使用反卷积增大负责检测 小目标的特征层conv7的特征图， 将特征图与特 征提取单元获得的特征图进行融合， 从而提高对 体积较小目标检测准确率。 权利要求书2页 说明书4页 附图2页 CN 114494884 A 2022.05.13 CN 114494884 A 1.一种垃圾自动分拣多目标检测方法， 其特 征在于： 该 方法包括如下步骤， 步骤一： 提取图像特 征； 构建由特征提取器和分类器组成的分类网络， 其中特征提取器包括五个特征提取单元 和一个小目标 特征提取单元， 将第i个特 征提取单元提取到的特 征用Fi表示； Fi＝C×H×W                           (1) 其中， C代 表channel， H代表高度， W代 表宽度； 使用局部注意力 机制与全局 注意力机制相结合的方法， 使 网络关注检测目标而忽略对 分类有干扰的背景信息； 将Fi通过格拉姆矩阵构建的局部注意力机制与其转置相乘得到局 部特征， 将Fi通过全局池化， 在保留原始空间信息和语义信息的同时得到全局特征， 然后将 局部特征与全局特 征相乘， 获得第i个特 征提取单元的最终特 征； 其中 表示第i个特征提取单元的最终特征， 表示第i个特征提取单元的局部特征， 表示 第i个特征提取单元的全局特 征； 使用resnet 101的101层 卷积层进行特征提取， 使用残差学习， 残差块的构成为， 首先使 用1×1的卷积层进行降维， 然后使用3 ×3的卷积层进行特征提取， 再使用1 ×1的卷积层进 行还原， 将残差块输入特 征和输出 特征相加， 作为下一个残差块的输入； 步骤二： 特 征融合； 将每个特征提取单元提取到的特 征进行融合， 特 征融合的公式如下 所示； 其中， F表示融合后的特征， x表示1 ×1的卷积核， 表示第i个特征提取单元提取到的 特征， b表示偏置； 步骤三： 获取小目标 特征信息； 获取小目标特征信息的具体过程为， 首先将反卷积操作作用于特征图conv7， 增大其分 辨率至输入图像尺寸， 使得 目标特征显著； 然后提取卷积层conv7的特征图的特征信息， 映 射到deconv7上， 特征映射包含特征图像素点的映射和感受野坐标的映射； 再将deconv7进 行池化； 将此步骤获取得到特征图与步骤三 获得的特征进行融合， 得到最 终的特征图； 特征 融合的公式如下 所示； Ffinal＝F+a1v(deconv7)+a2v(conv8_2)+a3v(conv9_2)+a4v(conv10_2)    (4) 其中， Ffinal表示融合后的特征， F表示五个特征提取单元获取的特征， v表示特征层的特 征信息的函数， a1、 a2、 a3、 a4为权重系数， 值依次为0.3、 0.25、 0.25、 0.2， deconv7表示包含小 目标特征的特征层， conv8_2、 co nv9_2、 co nv10_2分别表示大小为10 *10、 5*5、 3*3的特征层； 步骤四： 分类； 所构建的分类器由一个全连接层和softmax层组成， 将步骤三融合后的特征作为全连 接层的输入， 使用softmax函数进行分类， 分别 得到厨余垃圾、 可回收垃圾、 其他垃圾、 有害 垃圾这四个类别的预测概 率， 且四个 类别的预测概 率和为1， 输出分类结果。 2.根据权利要求1所述的一种垃圾自动分拣多目标检测方法， 其特征在于： 步骤一中， 经过第一个特征提取单元得到特征F1， 将F1通过格拉姆矩阵构建的局部注 意力机制与通过 全局池化， 得到的全局 注意力机制相乘， 得到Ff1； 以此类推， 则五个特征提取单元获得的特权　利　要　求　书 1/2 页 2 CN 114494884 A 2征分别加以全局注意力和 局部注意力机制之后得到的特 征分别为 3.根据权利要求1所述的一种垃圾自动分拣多目标检测方法， 其特征在于： 步骤二： 将 步骤二中的五个特 征进行特征融合， 得到特 征F。 4.根据权利要求1所述的一种垃圾自动分拣多目标检测方法， 其特征在于： 步骤三： 首 先将反卷积操作作用于特征图conv 7， 增大其分辨率至输入图像尺 寸， 使得目标特征更加显 著； 然后提取卷积层conv 7的特征图的特征信息， 映射到deconv 7上， 此处的特征映射包含 特 征图像素点的映射和感受野坐标的映射； 再将deconv 7进行池化； 将此步骤获取得到特征图 与步骤三获得的特 征进行融合， 得到最终的特 征图。 5.根据权利要求1所述的一种垃圾自动分拣多目标检测方法， 其特征在于： 步骤四： 将 步骤三的输出作为分类器的输入， 分别得到厨余垃圾、 可回收垃圾、 其他垃圾、 有害垃圾这 四个类别的概 率， 且概率和为1， 输出最终的分类结果； 特征提取单元中包含的第二个特征提取单元中的其第二个residual模块结构示意图； 通过使用通道数和输入特征图一样的大小为 1×1的卷积块作为每一个残差块的起始层， 用 以降维， 通过使用卷积核个数和输入特征图一样的大小为 1×1的卷积块作为每一个残差块 的结束层， 用以升维， 以保持主干特 征图维度的一 致性。权　利　要　求　书 2/2 页 3 CN 114494884 A 3