AIモデルが長い動画をブロックごとに作り、途中で新しい指示を受け付けるストリーミング型の動画生成は、新しいブロックのたびにモデルを動かし直す必要があるため高くつきます。arXivに投稿された新しいプレプリントは、こうしたモデルをごく少ないステップで動くように訓練し、しかも訓練時のメモリを減らす手法APEXを説明しています。一般の利用者よりも研究者や研究所向けの内容ですが、AI動画ツールがどれだけ安くなるかを最終的に左右するのは、こうした効率化の研究です。
技術的な問題は具体的です。動画モデルを高速化する一般的な手法であるDistribution Matching Distillationは、訓練中に二つの補助ネットワークを必要とします。良い出力を表す固定された教師と、生成器がその時点で何を出しているかを追う別の偽スコアネットワークです。大きな動画モデルでは、この二つ目のネットワークがメモリと計算を食い、変化していく生成器に合わせ続ける必要もあります。APEXはこれをなくします。条件シフトと呼ぶ工夫により、同じモデルが二つの役割を担います。通常のテキストプロンプトでは生成を行い、ずらしたプロンプトでは自分自身の出力分布を推定します。以前のシステムS2-Avatarの固定された教師と、その訓練手法Self-Replay Forcingはそのまま使っています。
評価には180秒の動画を使っています。S2-Avatarと比べ、APEXはベンチマークのProgressiveトラックで指示の達成度が3.856対3.831とわずかに高く、見た目の美しさでも0.641898対0.632606と上回りました。70件の人間 による評価では、評価者が最もはっきりAPEXを支持したのは指示への追従で、正味の支持は+30.0%、一貫性と動画の品質ではそれぞれ+4.3%でした。訓練条件をそろえた比較では、標準の蒸留手法よりGPUあたりのピークメモリが4.4%少なく、訓練の1反復あたりの時間が9.2%短くなりました。
節約幅は控えめで、それが正直な見出しです。自動評価のスコアの伸びは小さく、最も明確な利点は、変わっていく指示に動画がよりよく従うことで、アバターやライブの物語づくりのような対話的な用途で意味を持ちます。
限界は要旨そのものに表れています。動きの品質では評価者はS2-Avatarを好み、音と映像の同期はほぼ引き分けで、使いやすさは変わりませんでした。人間による評価は小規模で、比較対象は以前のシステム一つだけであり、査読を受けていないプレプリントです。コードや製品の公開については書かれていません。