動画のAIアップスケールと修復：SeedVR2・FlashVSR

動画アップスケール・動画修復

基本的な考え方や手法は、アップスケール・画像修復とほぼ同じです。

ただし大きな違いが一つあり、動画では 時間方向のつながり（フリッカーしないこと） が重要になります。

静止画用アップスケーラを「1フレームずつ」当てるだけでも一応は動画アップスケールになりますが、時間的な一貫性を持たないため、チラつきがでる可能性があります。

やはり、動画専用のアップスケーラーを使ったほうが良いでしょう。

現在のSoTAを2つだけ紹介します。

静止画用のアップスケーラーを動画に使うことは出来ませんが、その逆は特に問題ありません。
むしろ静止画専用のものより性能がよく、実際よく使われています。

動画のアップスケールに特化し、1ステップで生成できるようにしています。

修復レベルで使えるほど非常に高性能ですが、非常に重いです。

flashvsr.json

複数フレームをまとめて処理し、時間方向のブレやフリッカーを抑えています。

リアルタイム寄りの処理速度を実現できる設計で、高速・軽量なので、とりあえずこちらを試してみるのがいいでしょう。