SCAIL-2

什么是 SCAIL-2？

SCAIL-2 是一个基于 Wan2.1 的模型，专门用于人物和角色的动作迁移。

它和 Wan-Animate 以及前作 SCAIL-1 最大的区别是，不会先转换成火柴人之类的中间表示。

用 ViTPose 或 OpenPose 做出火柴人，再把它作为条件来驱动人物。过去这算是很自然的想法，但一旦转换成火柴人，很多信息都会丢失。

深度、接触、多人之间的交错动作、非人类角色的动作等等……

所以 SCAIL-2 会把参考图像和动作视频几乎原样传给 DiT。

与其由人来手搓复杂的处理流水线，不如准备合适的数据集，让 AI 理解这个任务。这样得到的东西往往更灵活，也更好用。这种思路今后应该会越来越常见。

模型下载

• checkpoints
  • sam3.1_multiplex_fp16.safetensors (1.75 GB)
• clip_vision
  • clip_vision_h.safetensors (1.26 GB)
• diffusion_models
  • wan2.1_14B_SCAIL_2_fp8_scaled.safetensors (17.7 GB)
• loras
  • Wan21_I2V_14B_lightx2v_cfg_step_distill_lora_rank64.safetensors (739 MB)
• text_encoders
  • umt5_xxl_fp8_e4m3fn_scaled.safetensors (6.74 GB)
• vae
  • wan_2.1_vae.safetensors (254 MB)

📂ComfyUI/
└── 📂models/
    ├── 📂checkpoints/
    │   └── sam3.1_multiplex_fp16.safetensors
    ├── 📂clip_vision/
    │   └── clip_vision_h.safetensors
    ├── 📂diffusion_models/
    │   └── wan2.1_14B_SCAIL_2_fp8_scaled.safetensors
    ├── 📂loras/
    │   └── Wan21_I2V_14B_lightx2v_cfg_step_distill_lora_rank64.safetensors
    ├── 📂text_encoders/
    │   └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
    └── 📂vae/
        └── wan_2.1_vae.safetensors

Animation 模式

用动作视频来驱动 参考图像。

基础 workflow 和 Wan-Animate 很接近，但这里简单很多，所以轻松看下去就好。

Deep diveAnimation 模式

参考图像・动作视频

参考图像和动作视频会在内部 resize，所以一开始不需要做成相同尺寸。

• 长宽比接近会更容易处理。
• 图像和视频中的姿势不需要完全一致。
• 但是差得太多会失败。
• 参考图像最好选择接近动作视频第 1 帧的图像。

Prompt

因为只是转移动作，所以不需要很详细的 prompt。

• 但是，如果 prompt 太短，尤其是在 Replacement 模式 中会更容易失败。
• 这次的话，可以像 穿着衬衫的男性一只手扶着腰，另一只手摸着头发 这样，写到足够说明想生成什么样的视频。

分辨率・帧数

生成尺寸和帧数输入到 WanSCAILToVideo。

• 推荐分辨率为 480p（864×480）到接近 720p（1280×704），并且是 32 的倍数
• 最大帧数为 81
• 这个 workflow 会 resize 参考图像，并把那个尺寸作为生成分辨率。

使用 SAM3.1 生成 Mask

使用 SAM 3 / 3.1 对参考图像和动作视频中的人物生成 mask。

• 这不是 inpainting 用的严格 mask，而是告诉 SCAIL-2 人物对应关系的辅助信息，所以稍微有点偏差也没问题。

Create SCAIL-2 Colored Mask

生成的 mask 会被适当地着色。

• 多人场景下这里会稍微重要一些。后面会说明。

6 steps 生成

SCAIL-2 也可以使用 Wan2.1 高速生成 用的 Lightx2v LoRA。

• cfg 为 1.0
• steps 为 6

Outputs

Replacement 模式

将 视频中的人物 替换为 参考图像中的人物。

基本上只要把 Create SCAIL-2 Colored Mask 和 WanSCAILToVideo 的 replacement_mode 设为 true。

Deep diveReplacement 模式

分辨率

Replacement 会以视频尺寸为基准。

• 这个 workflow 会 resize 视频的第 1 帧，取得那个尺寸并进行设置。

Create SCAIL-2 Colored Mask 与 WanSCAILToVideo

将 replacement_mode 设为 true。

• 顺便一提，Create SCAIL-2 Colored Mask 的输出只是让 pose_video 侧的背景变白。

Outputs

从这里开始的示例使用 Animation 模式，但这些内容也都可以用于 Replacement 模式。

Animation 模式（多人）

SCAIL-2 也支持多人视频和图像。

不需要特别操作。和前面一样，输入视频和参考图像即可。

Deep diveAnimation 模式（多人）

Create SCAIL-2 Colored Mask

多人时，哪个人物对应哪段动作会变得重要。SCAIL-2 使用彩色 mask 来控制这一点。

• 当 SAM3.1 分割出多个目标时，Create SCAIL-2 Colored Mask 会按顺序把它们涂成不同颜色。
• 基本上同色之间会被关联起来，所以请使用 sort_by 等方式对齐颜色。

不过，如下面的输出例所示，颜色对应和动作并不一定总能对上。它只是一个较弱的条件，模型也可能单纯选择构图上更接近的一方。

Outputs

Animation 模式（多参考图像）

也可以一次参考多张图像，例如参考人物的其他角度图，或单独准备的背景图。

基本流程和普通的 Animation 模式相同。区别在于，这里不是输入 1 张参考图像，而是以 batch 的形式输入多张参考图像。

Deep diveAnimation 模式（多参考图像）

Batch 输入

将想要参考的图像输入到 Batch Images。

• 形成 batch 后，所有图像都会被裁剪成和第 1 张相同的尺寸。
  • 第 2 张之后通常不需要重新 resize，但超出这个尺寸的部分不会被反映出来。
  • 在这个 workflow 中，会用 padding 让后面的图像匹配第 1 张的尺寸。
• 最后 输入的图像会被反映得最强。
  • 比起背景，最好把想要动起来的人物放在更后面。

虽然可以使用多张参考图像，但它并不会根据人物大小自动调整背景，也不会把整体自然地重新改写成一张图。

它适合用来补充人物的其他角度信息，但如果想合成背景，还是先用图像编辑做出 1 张完整的参考图像会更好。

Outputs

Animation 模式（81 帧以上）

SCAIL-2 基本上生成到 81 帧为止，但使用 WAN Context Windows (Manual)，就可以沿时间方向分段生成更长的视频。

Deep diveAnimation 模式（81 帧以上）

WAN Context Windows (Manual)

可以理解为时间轴方向的 tiling，或者 context sliding。

• 将 context_length 设为 81 时，内部会按 81 帧为一段进行生成。
• 如果直接这样分段，接缝会很明显，所以用 context_overlap 设置适当的重叠帧数。

Outputs