Year: 2025
Type: article
Abstract: 目的重光照技术在元宇宙、增强现实和计算摄影中有广泛应用。基于已有的漫反射模型等模型的重光照，存在表达能力有限的问题；基于深度学习的重光照方法通过隐式建模光照过程，具有更丰富的表达能力。但端到端的重光照方法易产生错误的伪影。针对以上重光照方法存在的问题，提出一种深度—光源方向联合建模的图像重光照方法。方法首先，从输入图像中提取深度、法线和漫反射反照率信息，随后将深度作为场景几何表征，使用深度—光源方向联合建模的算法计算遮挡特征，设计TransUNet与U-Net串联的注意力-卷积神经渲染器，通过注意力机制捕获长程依赖关系，并利用卷积融合本征与遮挡特征，最终生成重光照图像。结果对比实验在RSR数据集和本文制作的HS数据集上与4种重光照方法进行比较。本方法在RSR数据集中取得了最优的峰值信噪比，结构相似性指数，可学习感知图像块相似度和综合性指标MPS，相比性能最优的对比方法在峰值信噪比和综合性指标MPS上分别提升5.45%和2.58%。本方法在HS数据集上在可学习感知图像块相似度上取得了最优结果，且主观效果上更符合人类的直觉。结论本方法通过引入显式约束和非局部运算，解决了现有端到端重光照方法缺乏准确的投射阴影和表面着色的问题，有效完成了重光照任务。
Source: Journal of Image and Graphics
DOI: 10.11834/jig.250032
Institution: Huazhong University of Science and Technology
Language: English
Field: Computer Science
Domain: Physical Sciences
Open Access status: bronze
OpenAlex ID: W4415304273
FWCI:
Cites:
Cited by:
Related to: