什么是重打光?

重打光(Relighting),是调整图像的打光的任务。

大分的话,分为下面 2 种。

  • 为了合成的重打光:合成了前景和背景的时候,让前景的打光适应背景的东西

  • 疑似光设置型重打光:放置疑似的光源,一边参考深度图或法线贴图一边变更打光的东西


为了合成的重打光

将剪切的人物或物体贴在别的背景时,原样的话“方向”“色温”“对比度”等与背景不合,变得真是合成那样的外观。

在 AI 出现以前,虽然有用 Photoshop 等一点点修正的方法,但用生成 AI 飒爽地做吧!

IC-Light / LBM 等,扩散模型基础的重打光

扩散模型在学习大量图像的过程中,不仅单纯“生成图像”,也掌握了“这样做看起来更自然”“如果光从这边来,影子这样落”等统计性的知识。

IC-Light 或 LBM 等手法,利用这个性质,进行只让前景的打光向背景侧靠拢那样的重打光。

指示基础图像编辑模型+重打光系 LoRA

是以接近 杂 Collage 的精炼 的思考方式,像让放在手前的东西自然地适应背景一样让其“编辑”的印象。

当然,不是合成,单纯是变更场景这个意思(变成夜・变成傍晚等)的重打光也可能。

也做成了专用的 LoRA。


疑似光设置型重打光

另一个系统,是 在场景内放置疑似的光源的类型 的重打光。

ClipDrop Relight

推定深度图或法线贴图,放置“这里聚光灯”“从这里太阳光”等假想灯光,配合那个灯光再计算阴影或高光。

硬要说的话是接近 CG 或图像处理一侧的任务的技术。ClipDrop RelightLightLab 这样的东西进入这个系统。

虽然研究有几个,但在 ComfyUI 实用能使用的东西,现时点很遗憾不太多。