リライトとは？

リライト（Relighting）は、画像のライティングを調整するタスクです。

大きく分けると、次の2種類に分けられます。

  • 合成のためのリライト：前景と背景を合成したときに、前景のライティングを背景になじませるもの

  • 疑似ライト設置型リライト：疑似的な光源を置き、深度マップやノーマルマップを参考にしながらライティングを変更するもの

合成のためのリライト

切り抜いた人物やオブジェクトを別の背景に貼ったとき、そのままだと「光の向き」「色温度」「コントラスト」などが背景と合わず、いかにも合成したような見た目になってしまいます。

AIが出る以前から、Photoshopなどでチマチマ修正する方法はありましたが、生成AIでサクッとやっちゃいましょう！

IC-Light / LBMなどの、拡散モデルベースのリライト

拡散モデルは大量の画像を学習する過程で、単に「画像を生成する」だけでなく、「こうしたほうが自然に見える」「光がこちらから来るなら、影はこう落ちる」といった統計的な知識も身につけています。

IC-LightやLBMなどの手法は、この性質を利用して、前景のライティングだけを背景側に寄せるようなリライトを行うものです。

指示ベース画像編集モデル＋リライト系LoRA

雑コラのリファインに近い考え方で、手前に置いたものを背景に自然になじませるように「編集」させるイメージです。

もちろん、合成ではなく、単純にシーンを変更するという意味（夜にする・夕方にするなど）のリライトも可能です。

専用のLoRAも作成されています。

疑似ライト設置型リライト

もうひとつの系統は、疑似的な光源をシーン内に置くタイプのリライトです。

ClipDrop Relight

深度マップやノーマルマップを推定し、「ここにスポットライト」「ここから太陽光」といった仮想ライトを置き、そのライトに合わせて陰影やハイライトを再計算します。

どちらかというとCGや画像処理寄りのタスクに近い技術です。ClipDrop RelightやLightLabのようなものがこの系統に入ります。

研究はいくつもありますが、ComfyUIで実用的に使えるものは、現時点では残念ながらあまり多くありません。