AI動画生成は、本物らしく見せるのは得意でも、正確な指示に従うのは苦手です。車がどこで曲がるか、カメラがどの高さにあるか、ドアがいつ開くかといったことです。解決策の1つは、まず配置、動き、カメラを決めた灰色の簡単な3Dアニメーション、つまりプロキシを渡し、その上にモデルにリアルな細部を描かせることです。Kling AIがTianjin Universityなどと発表したプレプリントのVibePrevisBenchは、コーディングエージェントがBlenderでこうしたプロキシをどれだけうまく作れるかを試します。
242のタスクはそれぞれ、脚本、写真の組、続きを作る場面の最初のフレーム、参考動画のいずれかを指示としてエージェントに渡します。エージェントはBlenderのコードを書いて4Dシーン、つまり時間とともに変わる3Dシーンを作り、レンダリングします。採点は2つの部分からなります。ルールに基づく確認ではコードを再実行し、書き出したシーンを9つの次元で隠された正解の事実と比べます。次に視覚言語モデルが、合格した事実が動画の中で実際に見て取れるかを判定します。
11のエージェントのうち、GPT-6 Astraが77.7で首位となり、GPT-6.1 Solが76.1、Gemini 4 Argonが75.0、Claude Opus 5.5が74.1で続きました。最下位はMuse Spark 1.3の61.1でした。にぎやかな街の場面はどのエージェントにとっても最も難しい分野で、物語性は最も弱い視覚の次元でした。著者らの3つの発見は次のとおりです。空間とカメラの動きを視覚的に理解する力がエージェントの差を分けること。どのエージェントも基本的なカメラワークと演出はこなせるが、難しい要求では失敗すること。そしてエージェントは自分のレンダリング結果を見ても、誤りをほとんど直さないことです。
費用の差は大きく、Astraは1タスクあたり平均32.59ドルで、Opus 5.5の7.82ドル、GPT-6.1 Solの6.71ドル、Gemini 4 Argonの4.45ドルを大きく上回りました。ターン数が多いほど点数は低い傾向でした。MCP for Blenderなどを使ってエージェントでBlenderを操作するなら、実用的な助言は、レンダリング結果を指示と1項目ずつ照らし合わせて確認させることです。
注意点:これは結果に利害を持つ動画企業によるプレプリントで、視覚の判定役もそれ自体が独自の盲点を持つモデルです。プロキシの誤りが最終的な動画に持ち込まれる例が2つ示されていますが、それがどのくらいの頻度で起きるかは測られていません。