西蒙弗雷泽大学 (SFU) 的研究人员开发出一种方法,允许用户以类似于 Blender 或 Unreal Engine 等3D图形工具的精度来操纵照片中的光照。通过摆脱基于提示词猜测光照的“黑盒”式生成式AI模型,该系统使创作者能够直接在场景中放置和调整特定的灯光类型——例如聚光灯、点光源或环境照明。

这张图片展示了该系统在保持物理准确性的同时操纵光照的核心能力。
超越生成式AI的“黑盒”
目前的生成式AI工具在重光方面往往表现挣扎,因为它们依赖大规模神经网络来预测光线可能如何与场景交互。这往往会导致不可预测的输出,其中AI可能会偏离照片的原始内容,迫使用户陷入提示词工程和反复试验的循环中。
SFU 的方法用明确的物理控制取代了这种猜测。通过模拟光的物理特性,研究人员确保重光结果是用户特定创意愿景的物理准确呈现。
“通过模拟灯光,我们确保我们的结果是用户所需照明的物理准确呈现。”
— CS Researchers Develop A New Tool That Brings Blender-like Lighting Control to Any Photograph
重建与渲染流程
该过程始于从单张照片中推断出场景的彩色网格表示。这个3D模型捕捉了物体的形状和表面颜色,同时有意剥离了原始的光照信息。

此视觉效果支持重建阶段的技术解释,即建立3D模型。
一旦建立3D场景,用户就可以将虚拟光源放入环境中。路径追踪引擎随后模拟这些灯光,以创建场景的粗略预览。最后,前馈神经渲染器将该粗略预览转换为照片级的照片,将物理准确性与高保真外观相结合。
训练与未来应用
为了确保系统能在多样化的真实世界图像上运行,团队开发了一种自监督训练方法。该方法使用可微渲染来重建场景照明,允许神经渲染器在无需手动标注数据的原始图像集合上进行训练。
虽然该工具目前仅限于静态图像,但研究人员打算将其扩展到视频。这可以通过允许他们在拍摄场景后调整照明,从而显著降低独立电影制作人和内容创作者的成本,消除对昂贵照明设备或多次重拍的需求。