(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210634582.3 (22)申请日 2022.06.07 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 冯伟　王英铭　张乾　万亮　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 程毓英 (51)Int.Cl. G06T 15/60(2006.01) G06T 15/50(2011.01) G06T 15/20(2011.01) G06T 17/00(2006.01) G06V 10/44(2022.01) G06V 10/60(2022.01)G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于自监督学习的光度立体三维重建 方法 (57)摘要 本发明涉及一种基于自监督学习的光度立 体三维重建方法， 包括以下步骤： 对目标场景在 不同光照条件下进行多次拍摄， 得到输入图像 集； 将输入图像集 输入到光度立体模型， 得到 粗略的法线图恢复结果和每张图像的光照条件； 将输入图像集输入到反射图估计模型和阴影估 计模型， 得到场景的反射图和每张图像的阴影 图； 根据粗略的法线图恢复结果、 光照条件、 反射 图和阴影图对输入图像进行复原， 得到复原图像 集； 根据输入图像集和复原图像集之间的相似 度， 以自监督的形式训练光度立体模型， 更新光 度立体模型参数； 将输入图像集输入到更新参数 后的光度立体模 型， 得到经过优化后的法线图恢 复结果和每张图像的光照条件； 对目标场景进行 三维重建。 权利要求书2页 说明书6页 附图4页 CN 114998507 A 2022.09.02 CN 114998507 A 1.一种基于自监 督学习的光度立体三维重建方法， 其特 征在于， 包括以下步骤： 步骤一， 对目标场景在不同光照条件下进行多 次拍摄， 得到输入图像集 K 为输入图像的个数； 步骤二， 将输入图像集 输入到光度立体模型， 得到粗略的法线图恢复结果 和每 张图像 的光照条件 P表示一张图像中的像素 数量， 1≤k≤K； 其中， 光度立体模型的结构为一个孪生神经网络， 分别对每张输入图像Ik进行特征提 取， 并使用最大池化操作将K个特征融合为一个尺寸固定的全局特征； 依据全局特征和每张 输入图像各自的特征分别对每张图像的光照条件进行估计， 将全局特征输入到解码器中， 回归得到场景的粗略的法线图恢复结果； 步骤三， 将输入图像集 输入到反射图估计模型和阴影估计模型， 得到场景的反射图 和每张图像的阴影图 方法如下： (1)将图像集 中的所有图像在通道维度上串联， 并将串联后的结果输入到反射图估计 模型中， 模型输出为对场景的反射图 的估计结果； (2)将粗略的法线图恢复结果 和光照条件 在通道维度串联， 将串联结果记作张 量B； (3)分别将图像集 中每一张图像Ik以及对应的张量Bk输入到阴影估计模型， 阴影估计 模型输出为对每一张图像Ik的阴影图 的估计结果， 方法如下： 阴影估计模型的结构为一个基于编码 ‑解码器的神经网络， 包含两个编码器， 每个编码 器由四个卷积层构成， 卷积核尺 寸都为3×3， 每一层的卷积核个数分别为64， 128， 256和256 个； 将输入图像Ik和张量B输入到两个编码器， 分别对进行深度特征提取， 得到两个深度特 征； 两个编码器之后是特征融合模块， 特征融合模块将两个深度特征进行通道维度上 的串 联操作， 完成串联后的特征先后通过一层全局池化层和一个卷积核为1 ×1的卷积层， 最后 通过Sigmoid函数进行归一化， 输出通道权重矩阵； 将通道权重矩阵与两个深度特征的串联 结果相乘， 将两个深度特征进 行融合， 得到最 终的图像深度特征； 将最 终得到的深度特征输 入到解码器中， 得到阴影图 的估计结果； 步骤四， 根据粗略的法线图恢复结果 光照条件 反射图 和阴影图 对输入图像进 行复原， 得到复原图像集 步骤五， 根据输入图像集 和复原图像集 之间的相似度， 以自监督 的形式训练光度立 体模型， 更新 光度立体模型参数； 步骤六， 将输入图像集 输入到更新参数后的光度立体模型， 得到经过优化后的法线图 恢复结果 和每张图像Ik的光照条件 步骤七， 根据最终的法线图恢复结果 对目标场景进行三维重建。 2.根据权利要求1所述的一种基于自监督学习的光度立体三维重建方法， 其特征在于， 步骤三中， 所述的反射图估计模型的结构为一个基于编码 ‑解码器的神经网络， 编码器由6 层卷积层构成， 解码器由4层卷积层构成； 在解码器的每一个卷积层都设置了跳跃连接层与 浅层网络连接 。 3.根据权利要求1所述的一种基于自监督学习的光度立体三维重建方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 114998507 A 2步骤四的具体方法为： 根据朗伯渲染 公式： 利用法线图恢复结果 光照条件 反射图 和阴影图 分别对每张输入图像 Ik进行复 原， 并构建复原图像集 4.根据权利要求1所述的一种基于自监督学习的光度立体三维重建方法， 其特征在于， 步骤五的具体方法为： (1)选用采用均方误差 MSE作为图像间相似度的衡量指标； (2)根据重建损失函数对光度立体模型进行自监 督训练， 损失函数如下： 其中K和P分别代表着输入图像的数量和每张图像中像素的数量， i代表图像中像素的 索引； (3)训练光度立体模型直至收敛， 得到优化后的光度立体模型。权　利　要　求　书 2/2 页 3 CN 114998507 A 3