Flux.1 Toolsとは？

Flux.1 には、ベースモデルとは別に ControlNet や IP-Adapter に相当するような派生モデルが Flux 公式から出ています。

  • FLUX.1 Fill … inpainting / outpainting 用モデル
  • FLUX.1 Depth / FLUX.1 Canny … 構造ベースのガイド（Depth / Canny）で形をキープしたまま描き変えるモデル
  • FLUX.1 Redux … 参照画像そっくりのバリエーションを量産する、Flux 向け IP-Adapter 的モデル

FLUX.1 Fill

inpaintingモデルと同じように使えます。

モデルのダウンロード

📂ComfyUI/
└── 📂models/
    └── 📂diffusion_models/
        └── FLUX.1-Fill-dev_fp8.safetensors

workflow

flux_1_fill.json

  • 🟪 flux1-fill-dev.safetensors を Load Diffusion Model ノードで読み込みます。

  • 🟩 Flux.1 の workflow でも、Stable Diffusion 1.5 の inpainting と同じように InpaintModelConditioning ノードを追加します。

    • 画像とマスクを入力します。

FLUX.1 Depth / FLUX.1 Canny

ControlNet Depth / Canny と同じような感覚で使えます。

モデルのダウンロード

📂ComfyUI/
└── 📂models/
    └── 📂diffusion_models/
        ├── flux1-depth-dev-fp8.safetensors
        └── flux1-canny-dev-fp8.safetensors

workflow

flux_1_depth.json

  • 🟩 InstructPixToPixConditioning ノードに制御用画像を入力します。

  • 🟦 今回は Depth なので、Depth Anything V2 で深度マップを作成します。

    • この深度マップの画像サイズがそのまま出力される画像サイズになってしまうため、適度なサイズにリサイズします。

Canny 版では、同じ構成で Canny エッジ画像を入力します。

FLUX.1 Redux

FLUX.1 Redux は、一枚以上の参照画像を渡して、その画像に強く寄せたバリエーションを生成するモデルです。
IP-Adapter に近いですが、Redux はかなりプロンプトが効きにくく、参照画像の見た目がほとんどそのまま出てきます。

モデルのダウンロード

Redux は、Flux 本体とは別の「スタイルモデル」として読み込みます。
さらに、参照画像をエンコードするための CLIP-ViT も必要です。

📂ComfyUI/
└── 📂models/
    ├── 📂style_models/
    │   └── flux1-redux-dev.safetensors
    └── 📂clip_vision/
        └── sigclip_vision_patch14_384.safetensors

workflow

flux_1_redux.json

  • 🟩 Apply Style Model ノードを追加し、Style モデルと CLIP Vision Encode を繋ぎます。

    • CLIP Vision Encode ノードには、sigclip_vision_patch14_384.safetensors と参照画像を繋ぎます。

複数枚を混ぜる

Apply Style Model の塊を横に並べれば、複数の画像を参照して混ぜることも出来ます。

flux_1_redux_multi.json

Reduxの問題

改めてですが、Redux はプロンプトや LoRA など、他のパラメータをほとんど無視してしまいます。

そう割り切って「参照画像そっくりのバリエーションを量産するツール」として使うのが一番だと思いますが、 プロンプトでもある程度コントロール出来るようにするカスタムノードもあります。参考までに。