Flux.1とは？

Flux.1 は、Stable Diffusion の開発メンバーが立ち上げた Black Forest Labs による画像生成モデルです。
単なる「高性能版」というだけでなく、アーキテクチャの面でも大きな転換点になったモデルです。

  • 画像生成のコアが、従来の UNet から Transformer（DiT）ベースに置き換えられた
  • テキストエンコーダとして、T5 系の LLM が採用された

この組み合わせにより、大規模なデータセットから効率よく学習できるようになり、
LLM の文章理解力をそのまま活かしやすくなったことで、現在主流となっている画像生成モデル群への分岐点になりました。

Flux.1 には 3 つのバリエーションがあります。

  • Flux.1 pro
    • API 経由のみで利用できる版で、モデルウェイトは公開されていません。
  • Flux.1 dev
    • pro を蒸留した研究・検証向けモデルです。ローカル環境で最もよく使われているのはこちらです。
  • Flux.1 schnell
    • dev をさらに蒸留したモデルで、Apache-2.0 という比較的ゆるいライセンスで公開されています。

モデルのダウンロード

ここでは、dev / schnell の fp8 版を使用します。

text2image - Flux.1 [dev]

flux1-dev.json

Flux.1 dev / schnell は、CFG を 1.0 に固定した状態を蒸留したモデル です。 そのため、従来の Stable Diffusion のような CFG scale や Negative Prompt の調整は前提としておらず、Negative Prompt は一切効きません。

私は Negative 側のプロンプトを空にしていますが、他の workflow では Negative 用の CLIP Text Encode ノードの代わりに ConditioningZeroOut ノードを差しているものもあります。

いずれの場合も、Negative 側の条件は 0 倍されるため、何を書いても出力には影響しません。

text2image - Flux.1 [schnell]

Flux.1 [dev] をさらに蒸留したもので、4〜6 ステップで画像を生成できます。

flux1-schnell.json
  • steps を 4〜6 にします。

LoRA - Flux.1 [dev]

ポートレート画像の質を上げる LoRA を使ってみましょう。

flux1-dev_lora.json
  • 🟪 LoRA でも書いていますが、Flux 以降はテキストエンコーダを学習しなくなったため、Load LoRA ノードではなく、重みのみに適用する LoraLoaderModelOnly ノードを使用します。

ControlNet - Flux.1 [dev]

Flux.1 向けの ControlNet モデルもいくつか公開されていますが、ここでは Union 型のモデルを例に紹介します。

モデルのダウンロード

  • 📂ComfyUI/
└── 📂models/
    └── 📂controlnet/
        └── FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8.safetensors

workflow

ControlNet-Union は、複数の代表的な ControlNet を 1 つのモデルに内蔵しています。

FLUX.1-dev-ControlNet-Union-Pro_depth.json

  • 🟩 Flux を使った image2image の workflow に ControlNet が挿入されただけです。

    • image2image といっても denoise が 1.0 なので、挙動としては text2image とほぼ同じです。
    • 入力画像と同じサイズの画像が、少ないノードで作れるため、私はこの形をよく使います。

  • 🟩 SetUnionControlNetType に、使いたい ControlNet のタイプを入力します。

    • 基本的には auto で構いません。

GGUF（Flux.1 を軽量化する）

最後に、GGUF 版 Flux.1 について少し触れておきます。

もともと GGUF は LLM を軽量化するためのフォーマット（量子化されたウェイト形式）ですが、 これを Flux.1 に応用することで、VRAM 使用量を減らしつつ、それなりの速度で回す ことができます。

カスタムノード

モデルのダウンロード

性能とモデルサイズのバランスで、いくつかバリエーションがあります。 PC スペックや用途に合わせて選んでください。

  • 📂ComfyUI/
└── 📂models/
    └── 📂unet/
        └── flux1-dev.gguf

workflow

FLUX.1-dev-gguf.json

  • 🟪 Load Diffusion Model ノードを、Unet Loader (GGUF) ノードに差し替えます。

  • ほかの CLIP / T5 / VAE 部分はそのままです。

    • T5 を GGUF に変えることもできますが、体感ではそこまで大きな効果はありません。

現在の多くのモデルで GGUF 版が用意されています。 GGUF を使うことによるデメリットはほとんどない ので、VRAM が足りないときは積極的に使ってみてください。