(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210321177.6 (22)申请日 2022.03.30 (65)同一申请的已公布的文献号 申请公布号 CN 114419322 A (43)申请公布日 2022.04.29 (73)专利权人 飞狐信息技 术 （天津） 有限公司 地址 300280 天津市滨 海新区经济开发区 第一大街79号泰达MSD-C区C3座21层 2012单元 (72)发明人 刘聪　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 藏斌 (51)Int.Cl. G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114092487 A,202 2.02.25 CN 113724269 A,2021.1 1.30 CN 113836985 A,2021.12.24 审查员 姚希 (54)发明名称 一种图像实例分割方法、 装置、 电子设备及 存储介质 (57)摘要 本发明提供一种图像实例分割方法、 装置、 电子设备及存储介质， 将待分割图像输入目标 SOLOV2模型， 通过目标SOL OV2模型对待分割图像 进行图像分割， 得到最终实例分割图； 目标 SOLOV2模型包 括ResNext101网络、 FPN网络、 预测 网络和ARM模块， 通过目标SOLOV2模型对待分割 图像进行图像分割的过程为： 通过FPN网络对通 过ResNext101 网络对待分割图像进行特征提取， 得到的目标浅层特征和目标深层特征进行融合 处理， 得到目标高分辨率掩码特征； 通过ARM模块 利用高分辨率掩码特征和通过预测网络对目标 高分辨率掩码特征进行实例分割处理得到的初 始实例分割图， 进行边界信息增强处理得到最终 实例分割图。 权利要求书3页 说明书14页 附图4页 CN 114419322 B 2022.09.20 CN 114419322 B 1.一种图像实例分割方法， 其特 征在于， 所述方法包括： 获取待分割图像； 将所述待分割图像输入目标SOLOV2模型， 并通过所述目标S OLOV2模型对所述待分割图 像进行图像分割， 得到最 终实例分割图； 其中， 所述目标SOLOV2模 型是利用实例分割数据集 对待训练的SOLOV2模型进行训练得到； 所述目标SOLOV2模型包括ResNext101网络、 FPN网 络、 预测网络和ARM模块， 所述通过所述目标SOLOV2模 型对所述待分割图像进行图像 分割的 过程为： 通过所述ResNext 101网络对所述待分割图像进行特征提取， 得到目标浅层特征和目标 深层特征； 通过所述FPN网络将所述目标浅层特征和所述目标深层特征进行融合处理， 得到目标 高分辨率掩码特 征； 通过所述预测网络对所述目标高分辨率掩码特征进行实例分割处理， 得到初始实例分 割图， 并将所述目标高分辨 率掩码特 征和所述初始实例分割图输入所述ARM模块； 通过所述ARM模块采用预设算法对所述目标高分辨率掩码特征进行预测， 得到目标实 例边缘特征， 并利用所述目标实例边缘特征对所述初始实例分割图进行边界信息增强处 理， 得到最终 实例分割图； 所述待训练的SOLOV2模型包括待训练的ResNext101网络、 待训练的FPN网络， 以及待训 练的预测网络， 所述利用实例分割数据集对待训练的SOLOV2模型进行训练， 得到目标 SOLOV2模型， 包括： 获取实例分割数据集， 其中， 所述实例分割数据集包括多个实例分割数据； 针对每个所述实例 分割数据而言， 将所述实例 分割数据输入待训练的SOLOV2模型， 以 使所述待训练的SOLOV2模型对所述实例分割数据进行实例分割， 得到第一训练实例分割 图， 利用所述第一训练实例分割图与对应的目标实例分割图构造第一损失函数， 并利用所 述第一损失函数对 所述待训练的ResNext101网络、 所述待训练的FPN网络， 以及所述待训练 的预测网络的参数进行调整， 直至所述待训练的SOLOV2模型达到收敛， 得到初始SOLOV2模 型； 利用所述初始SOLOV 2模型和ARM模块构建SOLOV 2模型； 针对每个所述实例分割数据而言， 将所述实例分割数据输入所述SOLOV 2模型； 通过所述SOLOV2模型中的ResNext101网络对所述实例分割数据进行特征提取， 得到浅 层特征和深层特 征； 通过所述FPN网络将所述浅层特征和所述深层特征进行融合处理， 得到高分辨率掩码 特征； 通过所述SOLOV2模型中的预测网络对所述高分辨率掩码特征进行实例分割处理， 得到 第二训练实例分割图， 并将所述高分辨率掩码特征和所述第二训练实例分割图输入所述 SOLOV2模型中的所述ARM模块； 通过所述S OLOV2模型中所述A RM模块的利用所述 高分辨率掩码特征对所述第二训练实 例分割图进行增强处 理， 得到第三训练实例分割图； 利用所述第 三训练实例分割图与对应的目标实例分割图构造第 二损失函数， 并利用所 述第二损失函数对所述SOLOV2模型中的预测网络和ARM模块的参数进行调整， 直至所述权　利　要　求　书 1/3 页 2 CN 114419322 B 2SOLOV2模型达到收敛， 得到目标SOLOV 2模型。 2.根据权利要求1所述的方法， 其特征在于， 所述预测网络包括类别分支和掩码分支， 所述通过所述预测网络对所述目标高分辨率掩码特征进行实例分割处理， 得到初始实例分 割图， 包括： 通过所述类别分支对所述高分辨率掩码图进行类别预测， 得到至少一个目标类别特征 图； 通过所述掩码分支对每 个所述目标类别特 征图进行分割处 理， 得到初始实例分割图。 3.一种图像实例分割装置， 其特 征在于， 所述装置包括： 待分割图像获取 单元， 用于获取待分割图像； 目标SOLOV2模型， 对输入的所述待分割图像进行图像分割， 得到最终实例分割图； 其 中， 所述目标SOLOV2模 型是基于预训练单元利用实例分割数据集对待训练的SOLOV2模 型进 行训练得到； 所述目标SOLOV 2模型包括ResNext101网络、 FPN网络、 预测网络和ARM模块； 所述ResNext101网络， 用于对所述待分割图像进行特征提取， 得到目标浅层特征和目 标深层特 征； 所述FPN网络， 用于将所述目标浅层特征和所述目标深层特征进行融合处理， 得到目标 高分辨率掩码特 征； 所述预测网络， 用于对所述目标高分辨率掩码特征进行实例分割处理， 得到初始实例 分割图； 并将所述目标高分辨 率掩码特 征和所述初始实例分割图输入所述ARM模块； 所述ARM模块， 用于采用预设算法对所述目标高分辨率掩码特征进行预测， 得到目标实 例边缘特征， 并利用所述目标实例边缘特征对所述初始实例分割图进行边界信息增强处 理， 得到最终 实例分割图； 所述待训练的SOLOV2模型包括待训练的ResNext101网络、 待训练的FPN网络， 以及待训 练的预测网络， 所述训练单 元， 包括： 实例分割数据获取单元， 用于获取实例分割数据集， 其中， 所述实例分割数据集包括多 个实例分割数据； 第一训练子单元， 用于针对每个所述实例分割数据而言， 将所述实例分割数据输入待 训练的SOLOV2模型， 以使所述待训练的SOLOV2模型对所述实例分割数据进行实例分割， 得 到第一训练实例分割图， 利用所述第一训练实例分割图与对应的目标实例分割图构造第一 损失函数， 并利用所述第一损失函数对 所述待训练的ResNext101网络、 所述待训练的FPN网 络， 以及所述待训练的预测网络的参数进行调整， 直至所述待训练的SOLOV2模型达到收敛， 得到初始SOLOV 2模型； SOLOV2模型构建单 元， 用于利用所述初始SOLOV 2模型和ARM模块构建SOLOV 2模型； 输入单元， 用于针对每个所述实例分割数据而言， 将所述实例分割数据输入所述 SOLOV2模型； 特征提取单元， 用于通过所述SOLOV2模型中的所述ResNext101网络对所述实例分割数 据进行特征提取， 得到 浅层特征和深层特 征； 融合处理单元， 用于通过所述FPN网络将所述浅层特征和所述深层特征进行融合处理， 得到高分辨 率掩码特 征； 第一实例分割单元， 用于通过所述SOLOV2模型中的所述预测网络对所述高分辨率掩码权　利　要　求　书 2/3 页 3 CN 114419322 B 3