SCAIL-2

SCAIL-2とは？

SCAIL-2 は、人やキャラクターへのモーション転送に特化した Wan2.1 ベースのモデルです。

Wan-Animate や前作の SCAIL-1 と大きく違うのは、棒人間などの中間表現に変換しない点です。

ViTPose や OpenPose で棒人間を作り、それを条件として人物を動かす。これまではこれが当然のアイデアだったわけですが、いったん棒人間に変換すると多くの情報が落ちます。

奥行き、接触、複数人の絡まりあい、非人間キャラの動きなどなど…

そこで SCAIL-2 では、参照画像とモーション用動画をほぼそのまま DiT に渡します。

複雑な処理パイプラインを人間がこねるよりも、適切なデータセットを作って AI にタスクを理解してもらったほうが柔軟で使いやすいものができる。これはこれから増えていく考え方でしょうね。

モデルのダウンロード

• checkpoints
  • sam3.1_multiplex_fp16.safetensors (1.75 GB)
• clip_vision
  • clip_vision_h.safetensors (1.26 GB)
• diffusion_models
  • wan2.1_14B_SCAIL_2_fp8_scaled.safetensors (17.7 GB)
• loras
  • Wan21_I2V_14B_lightx2v_cfg_step_distill_lora_rank64.safetensors (739 MB)
• text_encoders
  • umt5_xxl_fp8_e4m3fn_scaled.safetensors (6.74 GB)
• vae
  • wan_2.1_vae.safetensors (254 MB)

📂ComfyUI/
└── 📂models/
    ├── 📂checkpoints/
    │   └── sam3.1_multiplex_fp16.safetensors
    ├── 📂clip_vision/
    │   └── clip_vision_h.safetensors
    ├── 📂diffusion_models/
    │   └── wan2.1_14B_SCAIL_2_fp8_scaled.safetensors
    ├── 📂loras/
    │   └── Wan21_I2V_14B_lightx2v_cfg_step_distill_lora_rank64.safetensors
    ├── 📂text_encoders/
    │   └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
    └── 📂vae/
        └── wan_2.1_vae.safetensors

Animation モード

参照画像 をモーション用動画で動かします。

ベースの workflow は Wan-Animate と同じですが、かなりシンプルになっているので気楽に見ていきましょう。

Deep diveAnimation モード

参照画像・モーション用動画

参照画像とモーション用動画は、内部でリサイズされるため、同じサイズに揃える必要はありません。

• アスペクト比は近いほうが扱いやすいです。
• 画像と動画のポーズが完全に一致している必要はありません。
• ただし、あまりにも違うと失敗します。
• 参照画像は、モーション用動画の 1 フレーム目に近いものを選んだ方がよいでしょう。

プロンプト

モーションを転送するだけなので、詳細なプロンプトは必要ありません。

• ただ、短すぎると、特に Replacement モード では失敗しやすくなります。
• 今回であれば、シャツを着た男性が腰に手を当てて髪を触っている というように、どんな動画にしたいかが十分に伝わるようなプロンプトを書きます。

解像度・フレーム数

生成サイズとフレーム数は WanSCAILToVideo に入力します。

• 推奨解像度は 480p（864×480）〜 720p 相当（1280×704）かつ 32 の倍数
• 最大フレーム数は 81
• 今回は、参照画像をリサイズし、そのサイズを生成解像度として使っています。

SAM3.1 によるマスク生成

参照画像とモーション用動画の人物を、SAM 3 / 3.1 でマスクします。

• inpainting 用の厳密なマスクではなく、人物の対応関係を SCAIL-2 に伝えるための補助なので、多少ズレていても問題ありません。

Create SCAIL-2 Colored Mask

作ったマスクが適切に色付けされます。

• 多人数の場合は少し重要です。詳しくは後述します。

6 steps 生成

SCAIL-2 でも、Wan2.1 の高速生成 用の Lightx2v LoRA を使えます。

• cfg は 1.0
• steps は 6

Outputs

Replacement モード

動画内の人物 を 参照画像の人物 に入れ替えます。

基本的には Create SCAIL-2 Colored Mask と WanSCAILToVideo の replacement_mode を true にするだけです。

Deep diveReplacement モード

解像度

Replacement は動画のサイズが基準になります。

• この workflow では、動画の 1 フレーム目をリサイズしたもののサイズを取得して設定しています。

Create SCAIL-2 Colored Mask と WanSCAILToVideo

replacement_mode を true にします。

• ちなみに、Create SCAIL-2 Colored Mask の出力は pose_video 側の背景が白くなるだけです。

Outputs

ここから先は Animation モードを使っていますが、どれも Replacement モードでも使えます。

Animation モード (複数人)

SCAIL-2 は複数人の動画・画像にも対応しています。

特別な操作は必要ありません。これまでと同様に動画と参照画像を入力するだけです。

Deep diveAnimation モード (複数人)

Create SCAIL-2 Colored Mask

複数人の場合は、どの人物にどの動きを対応させるかが重要になりますが、SCAIL-2 では色付きマスクを使ってそれを制御します。

• Create SCAIL-2 Colored Mask は、SAM3.1 が複数対象をセグメンテーションしたとき、それぞれを順番に違う色に塗っていきます。
• 基本的には、同じ色同士が紐づけられるため、sort_by などで色を合わせてください。

ただし、以下の出力例のように色の対応と動きが合わないことがあります。あくまでひとつの軽い条件であり、単純に構図的に近い方を選ぶこともあります。

Outputs

Animation モード (マルチ参照)

参照人物の別角度の画像や、背景用の画像をまとめて参照させることもできます。

基本的な流れは通常の Animation モードと同じです。違いは、参照画像を 1 枚ではなくバッチとして入力する点です。

Deep diveAnimation モード (マルチ参照)

バッチ入力

参照させたい画像を Batch Images に入力します。

• バッチにした時点で、すべて 1 枚目と同じサイズにクロップされます。
  • 2 枚目以降は基本的にリサイズしなくても構いませんが、はみ出した部分は反映されません。
  • この workflow では、1 枚目と同じサイズになるように padding しています。
• 一番最後 に入力した画像が最も強く反映されます。
  • 背景よりも、動かしたい人物を後ろに入れるほうがよさそうです。

複数の参照画像は使えますが、人物のサイズに合わせて背景を調整したり、全体を自然にリライトしたりするわけではありません。

別角度からの人物を補うには向いていますが、背景を合成したいなら、この機能を使うより、画像編集で 1 枚作り込んだほうがよいでしょう。

Outputs

Animation モード (81 フレーム以上)

SCAIL-2 は基本的に 81 フレームまでの生成ですが、WAN Context Windows (Manual) を使うと、時間方向に分割しながら長めの動画を生成できます。

Deep diveAnimation モード (81 フレーム以上)

WAN Context Windows (Manual)

時間軸方向のタイリング、あるいは context sliding のようなものです。

• context_length を 81 にすると、内部で 81 フレームずつ区切って生成します。
• そのままだと継ぎ目がはっきり見えてしまうので、のりしろとして context_overlap に適当なフレーム数を設定します。

Outputs