ComfyUI Video Stabilizer

ComfyUI Video Stabilizer 是一个在 ComfyUI 中给视频做防抖的自定义节点。

主要有以下 3 个功能。

  • 给视频防抖
  • 从防抖后的视频中还原原本的抖动
  • 添加人工抖动

安装

nomadoor/ComfyUI-Video-Stabilizer

  • 请通过 ComfyUI Manager 安装。

防抖

防抖使用 Video Stabilizer Classic 或 Video Stabilizer Flow。

功能完全相同,只是处理方式不同。

Flow 稍微重一些,但效果好很多,所以基本上推荐使用 Flow。

video_stabilizer_flow.json

参数

Video Stabilizer Classic 和 Video Stabilizer Flow 的参数相同。

Parameter 说明
frame_rate 输入视频的 FPS。它会作为时间方向 smoothing 的基准。
🎞️ framing_mode 如何处理防抖后画面边缘的缺失。这是个重要参数,在视频里差别很明显。
transform_mode 用哪种变换来估计相机运动。
🔒 camera_lock 让画面更接近三脚架拍摄的固定镜头。
strength 把估计出的相机运动去掉多少。0.0 基本保持原来的运动,1.0 会强力补正。
smooth 让相机运动平滑到什么程度。值越高,越能抑制突然的晃动。
keep_fov 只在 framing_mode 为 crop 时有效。指定保留多少视角。1.0 缩放较少,0.0 则牺牲视角来消除边缘空白。
padding_color 出现 padding 的区域的颜色。后续要 inpaint / outpaint 时会用到 padding_mask,所以颜色本身不太重要。

🎞️ framing_mode

原视频
crop
crop_and_pad
expand
  • crop
    • 稍微放大 / 裁剪视频,让空白边缘不可见。
    • 抖动越大,视角会变得越窄。
  • crop_and_pad
    • 尽量保留原来的视角,不足的部分用 padding 填充。
    • padding 部分会作为 padding_mask 输出。
  • expand
    • 完全不裁剪,只根据需要扩大画布。

一般的编辑软件只会用到接近 crop 的处理,但借助视频生成模型,就能把 padding 部分当作蒙版来 outpainting,玩出一些有意思的用法。

🔒 camera_lock

启用 camera_lock 后,虽然并不完美,但会把视频调整得更接近三脚架拍摄的固定镜头。

普通的防抖只是让相机运动“变平滑”,而 camera_lock 会尽量让相机运动停下来。


还原抖动

在视频编辑中,先去掉抖动再处理有时会更稳定,但就这样放着的话,原本的临场感也就没了。

使用 Video Stabilizer Motion Apply,可以把用 Video Stabilizer 去掉的抖动反过来再应用回去,把它还原出来。

video_stabilizer_to_motion_apply.json

如果用 crop 或 crop_and_pad 做了补正,已经裁掉的像素是回不来的。如果打算之后还原,建议最初防抖时就用 expand。


人为添加抖动

AI 生成的视频……其实不限于此,相机运动太平滑的话,就会有点 CG 感。

这时故意加一点手持抖动,就能营造出临场感和真实感。

video_stabilizer_shake.json

用 Video Stabilizer Shake Generator 生成人工的相机晃动,再交给 Video Stabilizer Motion Apply,就能让视频晃起来。

参数

Parameter 说明
frame_rate 输入视频的 FPS。视频那边没有传入 FPS 时,作为 fallback 使用。
style 抖动的类型。
amount 抖动强度。只想稍微增加一点自然感的话,低一些就够了。调得太高,就会变成很容易让人晕的画面。
speed 抖动速度。想要缓慢的手持感就调低,想要细碎、急促的抖动就调高。
seed 抖动的随机 seed。即使其他设置相同,改变 seed 也会改变抖动方式。

style

tripod
handheld
walking
action
vibration
  • tripod: 添加接近固定相机的、非常轻微的抖动。
  • handheld: 添加自然的手持相机风格抖动。
  • walking: 添加像边走边拍那样的上下 / 左右抖动。
  • action: 添加更强、更粗糙的运动。
  • vibration: 添加细小振动。

还有一个叫做 Video Stabilizer Shake Generator Manual 的节点。 它不用 preset,而是可以通过内部参数细致地调整运动。

Motion Blur

Video Stabilizer Motion Apply 也可以添加 motion blur。

稍微加一点,氛围就更接近真实相机拍出来的画面了。

原视频
Blur: 0
Blur: 1.00