(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210470047.9 (22)申请日 2022.04.28 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 王曰英　刘明康　周文举　吴乃龙　 杨希祥　严怀成　付俊　费敏锐　 姜斌　彭晨　李恒宇　李郅辰　 (74)专利代理 机构 郑州翊博专利代理事务所 (普通合伙) 41155 专利代理师 周玉青 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06V 20/05(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种无人潜航器识别方法、 设备和存 储介质 (57)摘要 本发明涉及计算机视觉技术领域， 公开了一 种无人潜航器识别方法、 设备和存储介质。 所述 识别方法具体步骤为： 将待识别图像输入目标检 测网络识别无人潜航器， 判断有无无人潜航器： 若无无人潜航器， 则处理下一张待识别图像； 若 有无人潜航器， 则输出含有无人潜航器的待识别 图像。 然后将 含有无人潜航器的待识别图像输入 语义分割网络精准分割， 得到最终的无人潜航器 的语义分割结果。 所述目标检测网络实时检测传 感器采集的现实场景中的无人潜航器区域， 然后 利用语义分割网络实时提取无人潜航器的语义 边缘特征和语义特征， 可在最终的实时分割结果 中保留更多的无人潜航器边缘信息， 以实现无人 潜航器位置的精准识别。 权利要求书2页 说明书8页 附图3页 CN 114863103 A 2022.08.05 CN 114863103 A 1.一种无 人潜航器识别方法， 其特 征在于， 包括如下步骤： S01： 将待识别图像输入目标检测网络检测既定目标物， 判断有无目标物： 若无目标物， 则处理下一张待识别图像； 若 有目标物， 则输出含有目标物的待识别图像； S02： 将含有目标物的待识别图像输入语义分割网络精准分割， 得到目标物的语义分割 结果， 实现目标物的精准识别和定位； 所述语义分割 网络包括语义边缘特征提取分支和语义分割分支； 其中， 所述语义边缘 特征提取分支用于提取输入的含有目标物的待识别图像中目标物的语义边缘特征图， 所述 语义分割分支用于提取输入的含有目标物的待识别图像中目标物的语义特征图； 利用特征 融合模块融合语义 边缘特征图和语义特 征图， 得到最终的目标物的语义分割结果。 2.根据权利要求1所述的无人潜航器识别方法， 其特征在于， 所述语义边缘特征提取分 支包含5个残差块， 5个上采样层和1个级 联层， 所述含有目标物的待识别图像从第一残差块 输入， 经第一残差块进行特征提取后生成一级语义边缘特征图； 一级语义边缘特征图经第 一上采样层处理后输入级联层， 经第二残差块进行特征提取后生成二级语义边缘特征图； 二级语义边缘特征图经第二上采样层处理后输入级联层， 经第三残差块进 行特征提取后生 成三级语义边缘特征图； 三级语义边缘特征图经第三上采样层处理后输入级联层， 经第四 残差块进 行特征提取后生成四级语义边缘特征图； 四级语义边缘特征图经第四上采样层处 理后输入级联层， 经第 五残差块进行特征提取后生成五级语义边缘特征图； 五级语义边缘 特征图经第 五上采样层处理后输入级联层； 输入级联层的5张不同级别的语义边缘特征图 经特征级联后， 得到目标物的语义 边缘特征图。 3.根据权利要求2所述的无人潜航器识别方法， 其特征在于， 所述语义分割分支是以双 边分割网络为基础网络进 行改进得到的， 其中所述双边分割网络包括上下文路径和空间路 径， 具体改进为： 在双边分割网络上下文路径中的4倍下采样层上方添加1个2倍下采样层， 并在4倍下采样层、 8倍下采样层和16倍下采样层后分别插入1个特征融合模块， 分别为第一 特征融合模块、 第二特征融合模块和 第三特征融合模块； 所述含有目标物的待识别图像从2 倍下采样层输入， 经2 倍下采样层进 行特征提取后生成一级语义特征图； 一级语义特征图经 4倍下采样层进行特征提取后生成二级语义特征图； 二级语义特征图和语义边缘特征提取 分支中第二残差块生成的二级语义边缘特征图通过第一特征融合模块进 行特征融合， 得到 三级语义特征图； 三级语义特征图经8倍下采样层进 行特征提取后生成四级语义特征图； 四 级语义特征图和语义边缘特征提取分支中第三残差块生成的三级语义边缘特征图通过第 二特征融合模块进行特征融合， 得到五级语义特征图； 五级语义特征图经16倍下采样层进 行特征提取后生成六级语义特征图； 六级语义特征图和语义边缘特征提取分支中第四残差 块生成的四级语义边缘特征图通过第三特征融合模块进行特征融合， 得到七级语义特征 图； 七级语义特 征图输入32倍下采样层进行 特征提取后进行输出。 4.根据权利要求3所述的无人潜航器识别方法， 其特征在于， 所述目标物为无人潜航 器。 5.一种语义分割网络的训练方法， 其特 征在于， 所述训练方法的步骤具体为： 获取样本数据集， 所述样本数据集中包括多 张含有既定目标物的样本图像以及每张样 本图像对应的样本标注语义分割图像， 所述样本标注语义分割图像中含有目标物的样本标 注区域和样本标注 区域对应的类别信息； 将样本图像输入语义分割网络中进行训练， 生成权　利　要　求　书 1/2 页 2 CN 114863103 A 2样本预测语义分割图像， 所述样本预测语义分割图像中含有目标物的样本特征区域和样本 特征区域对应的类别信息； 根据样本预测语义分割图像和样本标注语义分割图像构建损失 函数， 根据所述损失函数， 采用反向传播对语义分割网络进 行参数更新， 得到训练好的语义 分割网络； 其中， 所述语义分割网络为权利要求1 ‑4任一所述的语义分割网络 。 6.根据权利要求5所述的语义分割 网络的训练方法， 其特征在于， 所述损 失函数包括1 个主损失函数和3个辅助损失函数， 其中， 使用主损失函数来监督整个语义分割网络的输 出， 使用2个特定的辅助损失函数来监督语义分割分支中上下文路径的输出， 使用1个特定 的辅助损失函数来监督语义边缘特征提取分支的输出； 所述主损失函数和监督语义分割分 支中上下文路径输出的2个辅助损失函数是Softmaxt损失函数， 如式(1)所示； 监督语义边 缘特征提取分支输出的辅助损失函数， 如式(2)所示； 式(1)中， p表示网络的预测输出； 式(2)中， θ表示非语义边缘像素占总像素的比例； k表示语义边缘类的数量， k等于3； Y 表示图像语义的标签； 表示图像语义边缘的标签； I表示输入网络的图像中的目标物的特 征信息； W表示网络 权重； 此外， 使用参数α 和β 来平衡主损失函数和辅助损失函数的权 重， 如式(3)所示； 式(3)中， lp表示级联输出的主要损失； li表示第i阶段的上下文路径的辅助损失； ledge 表示语义边缘特征提取分支的辅助损失； Xi表示Xception模型第i阶段的输出特征； E表示 样本中目标物的边缘特征； W表示网络权重， K等于3； L表示联合损失函数， 辅助损失函数仅 仅在网络模型训练时使用。 7.一种识别系统， 包括图像采集模块、 目标检测模块和语义分割模块， 其特征在于， 所 述目标检测模块加载有如权利要求1 ‑4任一所述的目标检测网络， 所述语义分割模块加载 有如权利要求1 ‑4任一所述的语义分割网络 。 8.根据权利要求7所述的识别系统， 其特征在于， 所述图像采集模块用于采集待识别图 像和/或视频， 图像采集模块包括视 觉传感器和/或红外传感器。 9.一种电子设备， 包括存储器和处理器， 所述存储器上存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现如权利要求1 ‑4任一所述的无人潜航器识别方 法， 和/或如权利要求5 ‑6所述的语义分割网络训练方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求1 ‑4任一所述的无人潜航器识别方 法， 和/或如权利要求5 ‑6所述的语义分割网络训练方法。权　利　要　求　书 2/2 页 3 CN 114863103 A 3