(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210476348.2 (22)申请日 2022.04.29 (71)申请人 中国科学院上海微系统与信息技 术 研究所 地址 200050 上海市长 宁区长宁路865号 (72)发明人 朱冬晨　吴德明　张广慧　石文君　 李嘉茂　王磊　张晓林　 (74)专利代理 机构 上海泰博知识产权代理有限 公司 31451 专利代理师 钱文斌 (51)Int.Cl. G06T 7/50(2017.01) G06T 7/13(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种结合语义 边缘的深度估计方法 (57)摘要 本发明涉及一种结合语义边缘的深度估计 方法， 包括： 获取待深度估计的 图像； 将所述图像 输入至训练好的深度学习网络中得到深度预测 图和语义边缘预测图； 所述深度学习网络包括： 共享特征提取模块、 深度估计模块、 边缘增强权 重模块、 深度边缘语义分类模块和语义边缘检测 模块； 所述共享特征提取模块用于提取所述图像 中的特征信息， 并传输给所述深度估计模块和语 义边缘检测模块； 所述深度估计模块通过所述语 义边缘检测模块输出的语义边缘引导视差平滑， 并通过图像双重构的方式进行深度估计； 所述边 缘增强权重模块基于所述深度估计模块输出的 深度预测图的深度边缘形成所述语义边缘检测 模块所需要融合的特征结果； 所述深度边缘语义 分类模块用于进行深度边缘语义 分类预测； 所述 语义边缘检测模块用于输出图像的语义边缘分 类预测。 本发明能够提高准确度。 权利要求书1页 说明书4页 附图2页 CN 114882091 A 2022.08.09 CN 114882091 A 1.一种结合语义 边缘的深度估计方法， 其特 征在于， 包括以下步骤； 获取待深度估计的图像； 将所述图像输入至训练好的深度学习网络中得到深度预测图和语义 边缘预测图； 其中， 所述深度学习网络包括： 共享特征提取模块、 深度估计模块、 边缘增强权重模块、 深度边缘语义分类模块和语义边缘检测模块； 所述共享特征提取模块用于提取所述图像中 的特征信息， 并传输给所述深度估计模块和语义边缘检测模块； 所述深度估计模块通过所 述语义边缘检测模块输出的语义边缘引导视差平滑， 并通过图像双重构的方式进 行深度估 计； 所述边缘增强权重模块基于所述深度估计模块输出的深度预测图的深度边缘形成所述 语义边缘检测模块所需要融合的特征结果； 所述深度边缘语义分类模块用于进行深度边缘 语义分类预测； 所述语义 边缘检测模块用于 输出图像的语义 边缘分类预测。 2.根据权利要求1所述的结合语义边缘的深度估计方法， 其特征在于， 所述深度估计模 块 通过所 述 语义 边缘 检 测模块 输出的 语义边 缘 引导 视 差 平滑 ， 其公式 为 ： 其中， 表示分别对X和Y方向进行梯度 求解， di,j表示视差在 RGB图像中的(i,j)的值， N表示像素数量， Si,j表示语义边缘图像中的 (i,j)的值， ε为超参数。 3.根据权利要求1所述的结合语义边缘的深度估计方法， 其特征在于， 所述图像双重构 是指将左视图上某一点的像素值移动该点左视差的视差值个像素并赋值到该位置得到右 视图， 利用左视差某 一点的视差值去右视图上搜索该点的像素值并赋值到该点重建出左视 图。 4.根据权利要求1所述的结合语义边缘的深度估计方法， 其特征在于， 所述边缘增强权 重模块包括： 通过边缘检测算子提取所述深度预测图的深度边缘， 并输入至EEW单元， 所述 EEW单元输 出一个动态的权重信息， 所述权重信息需满足F＝W*F， 其中， F＝{A(1),A(2),A(3)}， A(1),A(2),A(3)分别表示通过所述共享特征提取模块提取出的不同深度的特征信息， W表示动 态的权重信息。 5.根据权利要求1所述的结合语义边缘的深度估计方法， 其特征在于， 所述深度边缘语 义分类模块是指结合拉普拉斯算子提取的深度边缘和所述共享特征提取模块提取出的特 征信息， 通过CASENet进行深度边缘语义分类预测， 并采用CASENet的multi ‑label损失进行 监督。 6.根据权利要求5所述的结合语义边缘的深度估计方法， 其特征在于， 所述深度边缘语 义分类模块利用预测的深度边缘和语义边缘的基础真值生成深度边缘语义分类的基础真 值； 将深度边缘和语义边缘的地面真值的相交部分作为深度边缘语义分类任务的地面真 值。权　利　要　求　书 1/1 页 2 CN 114882091 A 2一种结合语义边缘的深度估计方 法 技术领域 [0001]本发明涉及计算机视觉技术领域， 特别是涉及一种结合语义边缘的深度估计方 法。 背景技术 [0002]深度估计和语义边缘提取作为计算机视觉的基础问题， 其任务的结果可以部署在 自动驾驶、 虚拟现实、 机器人等实用科学上， 以辅助实现获得更好的结果。 深度估计是指从 图像中解析出三 维感知信息， 语义边缘提取任务是将图像的边缘提取和分类任务结合起来 的一个任务， 能够同时获得边缘的语义信息和物体的边界， 目前利用深度学习的方法来处 理这两类任务。 [0003]深度估计又分为单目深度估计和多目深度估计， 其中单目深度估计由于其使用传 感器少， 所以很大程度上拥有处理速度快、 花费少等优点。 多目深度估计由于使用两个或者 两个以上的传感器获取信息， 所以很大程度上存在信息冗余， 标注繁琐等缺点。 因此使用单 目深度估计也是目前研究和市场的主流选择。 [0004]单目深度估计 因为仅使用单张图像信息来进行深度估计， 所以会存在精度不高 的 问题。 目前的主流做法是利用额外信息的真值来引导训练深度估计网络， 如边缘信息、 语义 信息等， 从而生成精度更高的深度图。 目前上述方法存在的问题是在推理的时候没有额外 信息的真值， 因此只能使用已经训练好的方法来产生需要的额外信息， 从而在推理时损失 了利用真值来引导的可靠性。 目前主流的单目深度估计方案存在的另一个不合理是利用一 个左视图同时去产生左和右两个视差图， 但是利用左视图去产生右视差被认为是不合理 的。 [0005]语义边缘提取的一大难点就是抑制非语义边缘的影响， 为获取更加精细的语义边 缘， 目前采 取的主流方法是在训练网络的时候添加非最大抑制损失(NMS_Loss)或者利用动 态权重去增强边缘响应并抑制非边缘响应。 上述利用动态权重的方法存在的问题是其权重 是从特征中强行学习得来， 缺少理论支撑， 并添加了一个具有较多参数的学习层， 从而使得 网络变得复杂。 [0006]目前， 语义与深度、 边缘与深度的关联是探索与深度估计任务联合学习的主要方 法。 然而， 如何关联深度估计和语义边缘却鲜有研究。 可能有两种简单的策略。 第一个是， 给 定语义边缘标签， 我们 可以通过标签的引导来进行深度估计。 否则， 给定深度标签， 可以通 过引导深度标签来执行语义边缘检测。 然而， 上述两种 方法在很大程度上依赖于给定标签 的准确性， 并且都是分步模式， 这可能是次优 且低效的。 发明内容 [0007]本发明所要解决的技术问题是提供一种结合语义边缘的深度估计方法， 能够 提高 准确度。 [0008]本发明解决其技术问题所采用的技术方案是： 提供一种结合语义边缘的深度估计说　明　书 1/4 页 3 CN 114882091 A 3