LTX-2

LTX-2とは？

LTX-2 は、Lightricks が公開している、音声と動画を同時に生成できる拡散モデルです。

現在は、後継モデルとして LTX 2.5 が登場しています。
アーキテクチャは同じなので、こちらで仕組みを学びつつ、実際に生成するなら新しいモデルを使うのがおすすめです。

---

推奨設定値

• 解像度
  • 640×640（1:1）
  • 768×512（3:2）
  • 704×512（4:3）
  • ※後処理で2倍にアップスケールするので、実際の出力は1280×1280になります
  • ※32の倍数である必要があります
• FPS
  • 24 / 25 / 30
• フレーム
  • 最大：257 frames（25fpsで約10秒）
  • 推奨：121–161（品質とメモリのバランス）
  • ※8n+1 になる必要があります

---

モデルのダウンロード

• checkpoints（VAE同梱）

  • ltx-2-19b-dev-fp8.safetensors

• latent_upscale_models

  • ltx-2-spatial-upscaler-x2-1.0.safetensors

• loras

  • ltx-2-19b-distilled-lora-384.safetensors

• text_encoders

  • gemma_3_12B_it_fp8_scaled.safetensors

📂ComfyUI/
└── 📂models/
    ├── 📂checkpoints/
    │   └── ltx-2-19b-dev-fp8.safetensors
    ├── 📂latent_upscale_models/
    │   └── ltx-2-spatial-upscaler-x2-1.0.safetensors
    ├── 📂loras/
    │   └── ltx-2-19b-distilled-lora-384.safetensors
    └── 📂text_encoders/
        └── gemma_3_12B_it_fp8_scaled.safetensors

---

基本的な処理の流れ

Wan などに比べるとノード数が多いため複雑に感じるかもしれませんが、やっていることはこれだけです。

• 1. text2video + audio
  • まずベースとなる動画（音声も）を生成します。
• 2. Hires.fix（2段階目）
  • できた動画を 2 倍にアップスケールし、video2video でもう一度回してリファインします。
  • これをパスして直接デコードすることも出来ますが、品質的に、Hires.fixするのをオススメします。
• 3. デコード
  • 動画と音声を別々にデコードして出力します。

---

text2video

上で説明した基本的な処理に沿ってworkflowを組んでいきます。

• 1, 2, 3 が 1段目
• 4, 5 が Hires.fix
• 6 が デコード です

text2video 8ステップ

上ではHires.fixでのみ distilled-lora を使いましたが、1段目にも適用し、8ステップで高速に生成してみましょう。

distilled-loraを適用するため、サンプリング設定をいくつか変更します。

• CFG : 1.0
• scheduler : Simple
• steps : 8

20ステップ / 8ステップ distilled-lora比較

私が試した限りでは、distilled-lora を適用したほうが安定して生成できます。
そのため、速度アップを兼ねて以降のworkflowは全て １段目からdistilled-loraを適用 していきます。

---

image2video

single-frame I2V

基本は「1フレーム目を入力画像で固定して、残りを生成」です。

例えば 121フレームの動画を作るなら、ざっくりこういう流れになります。

(1) 121 frames の枠を作る（8n+1）
    [ 🌫️ 🌫️ 🌫️ 🌫️ 🌫️ ... 🌫️ ]

(2) 1フレーム目だけ入力画像で上書き
    [ 🖼️ 🌫️ 🌫️ 🌫️ 🌫️ ... 🌫️ ]

(3) 残りの120フレームを生成
    [ 🖼️ ✨ ✨ ✨ ✨ ... ✨ ]

🖼️ を起点に、後ろのフレーム（✨）が埋まっていくイメージです。

既知の問題として、ほとんど画面が動かなかったり、ズームアウトするだけの動画になることがあります。
適切なプロンプトを使うことで多少マシになりますが、これを対策するための LoRA が登場したので紹介します。

link + workflow : LTX-2 Image2Video Adapter LoRa

---

multi-frame I2V

先ほどの image2video workflow は、入力として 1枚の画像 だけでなく 画像バッチ（=動画） も渡せます。
これを応用すると、任意の動画の末尾を「のりしろ」にして、その先を延長する workflow が作れます。

入力された動画の末尾数フレームを取得し、その続きを生成する、ということをします。

(1) 入力動画（=画像バッチ）
    [ 🖼️ 🖼️ 🖼️ 🖼️  ... 🖼️ 🖼️ 🖼️ ]

(2) 末尾から N frames を取る（N = 8n+1）
    [ 🖼️ 🖼️ 🖼️ 🖼️... 🖼️ 🖼️ 🖼️ ]
                      └─── N ───┘

(3) 121 frames の枠を作り、先頭に N frames を上書きして入れる
    [ 🖼️ 🖼️ 🖼️ 🌫️ 🌫️ 🌫️ ... 🌫️ ]
      └── N ──┘     

(4) 残り（121 - N frames）を生成して続きを作る
    [ 🖼️ 🖼️ 🖼️ ✨ ✨ ✨ ... ✨ ]

(5) 先頭の N frames を削除（元動画末尾と重複するため）
    [ ✨ ✨ ✨ ... ✨ ]
    
(6) 元の動画 + 続きを結合
    [ 🖼️ 🖼️ 🖼️ ... 🖼️] + [ ✨ ✨ ✨ ... ✨ ]

---

audio2video

LTX-2 は「動画＋音声」を同時に扱うモデルなので、音声を入力として渡して 音に引っ張られた動画 を作る構成もできます。

• Trim Audio Duration で音声を適当な長さにトリミング
• 音声をエンコードして、LTXVConcatAVLatent に接続します。
• 二段目の LTXVConcatAVLatent にも接続します。
• 出力動画には、入力音声をそのまま使います（生成音声は使いません）。

音声の長さが生成する動画の長さより 短い 場合、音声条件が効きません。音と無関係な動画が生成されます。
無音でもいいので生成する動画の長さより余計に長くしておく必要があります。

ここに Set Latent Noise Mask を使うworkflowも見かけますが、あってもなくても同じ結果になります。

---

audio-image2video

上２つを組み合わせることも出来ます。
顔画像に喋っている音声を組み合わせれば、talking headのようなことも出来ます。やってみましょう。

• audio2video / image2video この 2 つのworkflowを組み合わせるだけです。

実はあまりセリフに動画が追従しなかったため、プロンプトにセリフを入れています。もっと良いworkflowがあるかもしれません。

---

video2audio

audio2video の逆で、動画を入力して それに合う音（効果音や環境音） を生成することもできます。

このタスクは安定しません。おそらく改良が必要です。

---

Temporal inpainting

時間方向の inpainting（＝動画の一部だけ作り直す）です。VACE Extensionのようなものですね。

基本は video2video です。
動画のうち「作り直したい時間範囲」だけをマスクし、その区間だけを再生成してもらいます。

(1) 入力動画（= 既存の video latent）
    [ 🖼️ 🖼️ 🖼️ 🖼️ 🖼️ 🖼️ 🖼️ 🖼️ 🖼️ 🖼️ ]

(2) 作り直したい区間を指定（start_time ~ end_time）
    例: 2.0s ~ 4.0s
    [ 🖼️ 🖼️ | 🖼️ 🖼️ 🖼️ | 🖼️ 🖼️ 🖼️ ]
             ^           ^
         start_time   end_time

(3) 指定区間だけマスクを立てる
    [   0    0 |  1   1   1 |  0   0   0  ]
               └─── Mask ───┘

(4) マスク区間だけ再生成
    [ 🖼️ 🖼️ | ✨ ✨ ✨ | 🖼️ 🖼️ 🖼️ ]
             └─ inpaint ─┘

仕組み上、二段階 workflow（低解像度 → Hires.fix）を組みにくいため、最初から 1.5MP で生成しています。

延長もできる

end_time を 入力動画の長さより後ろに指定すると、はみ出した部分は新規生成され、結果として動画が延長されます。 例：入力が「2秒」なら

• 2.0s → 5.0s を作り直す（= 2秒以降を新規生成して延長する）
• start_time = 2.0 / end_time = 5.0

---

IC-LoRA

IC-LoRA は、ポーズや深度マップ、エッジなどの 制御信号から動画を作ります。

モデルのダウンロード

• loras
  • ltx-2-19b-ic-lora-canny-control.safetensors
  • ltx-2-19b-ic-lora-depth-control.safetensors
  • ltx-2-19b-ic-lora-detailer.safetensors
  • ltx-2-19b-ic-lora-pose-control.safetensors

📂ComfyUI/
└── 📂models/
    └── 📂loras/
        ├── ltx-2-19b-ic-lora-canny-control.safetensors
        ├── ltx-2-19b-ic-lora-depth-control.safetensors
        ├── ltx-2-19b-ic-lora-detailer.safetensors
        └── ltx-2-19b-ic-lora-pose-control.safetensors

IC-LoRA (Pose)

text2video の workflow をベースに、ControlNet のような制御用の動画入力を追加します。

ポーズ画像・IC-LoRAを、Canny / Depth へ変更すれば同じように使えます。
注意点として、基本1種類の使用が推奨されています。(Pose と Depth を同時に適用したりするのは非推奨です。)

---

IC-LoRA (Pose) + image2video

複数IC-LoRAを重ねることは出来ませんが、image2videoやaudio2videoと組み合わせることはできます。

やっていることは、上の IC-LoRA (Pose) と image2video を合体させただけです。

• 注意点として、LTXVAddGuide は LTXVImgToVideoInplace の あと に接続します。
  • 逆だと制御が効きません。
• これはあくまで image2video であり、VACE のような reference2video ではありません。
  • 入力画像は「1フレーム目として固定される画像」なので、ポーズ動画の1フレーム目と大きくズレると期待通りの動画になりません。
  • 事前に ControlNet や Qwen-Image-Edit などで「ポーズ1フレーム目に寄せた画像」を作りましょう。

---

IC-LoRA (Detailer)

IC-LoRA (Detailer)は、低解像度の動画のディテールや質感を修復します。

カスタムノードのインストール

• ComfyUI-LTXVideo

• コアノードだけでも動かすこと自体はできますが、大きな解像度・長時間動画を扱うためにはカスタムノードが必要です。

基本は IC-LoRA(Detailer) を適用した video2video です。

• 🟦 先に、入力動画を 最終的に欲しいサイズ にリサイズします。
• SamplerCustomAdvanced の代わりに 🅛🅣🅧 LTXV Looping Sampler を使います。
  • これはUltimate SD upscaleのように時間・空間をタイルに分けて処理するため、VRAM 節約をすることができます。
  • この workflow では 時間方向だけ タイリングしています。
• 蒸留LoRAを使っていませんが、3 ステップで生成します。

---

参考

• プロンプトガイド
• LTX-2公式Doc
• Lightricks/ComfyUI-LTXVideo/example_workflows
• Comfy.Org blog