Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

Forschung ·

VibePrevisBench testet Coding-Agenten, die animierte 3D-Szenen in Blender bauen

VibePrevisBench, ein Preprint von Kling AI und Partneruniversitäten, lässt Coding-Agenten Drehbücher, Fotos oder Referenzvideos in animierte Blender-Szenen umsetzen, die KI-Videogeneratoren steuern. In 242 Aufgaben mit 11 Agenten erzielte GPT-6 Astra mit 77,7 den besten Wert, vor GPT-6.1 Sol mit 76,1, Gemini 4 Argon mit 75,0 und Opus 5.5 mit 74,1. Die Agenten prüften ihre Renderings, korrigierten Fehler aber nicht.

KI-Videogeneratoren sind gut darin, Dinge echt aussehen zu lassen, und schlecht darin, genauen Anweisungen zu folgen: wo das Auto abbiegt, wie hoch die Kamera steht, wann die Tür aufgeht. Eine Lösung ist, ihnen zuerst eine grobe 3D-Animation zu geben, einen grauen Proxy, der Aufbau, Bewegung und Kamera festlegt, und das Modell darüber die realistischen Details malen zu lassen. VibePrevisBench, ein Preprint von Kling AI mit Tianjin University und weiteren Partnern, testet, wie gut Coding-Agenten solche Proxys in Blender bauen.

Jede der 242 Aufgaben gibt dem Agenten einen Auftrag, etwa ein Drehbuch, eine Reihe von Fotos, das erste Bild einer fortzusetzenden Szene oder ein Referenzvideo. Der Agent schreibt Blender-Code für eine 4D-Szene, also eine 3D-Szene, die sich über die Zeit verändert, und rendert sie. Die Bewertung hat zwei Teile. Eine regelbasierte Prüfung führt den Code erneut aus und vergleicht die exportierte Szene mit verborgenen Referenzfakten in neun Dimensionen. Danach beurteilt ein Vision-Language-Modell, ob die bestandenen Fakten im Video tatsächlich zu sehen sind.

GPT-6 Astra führte die 11 Agenten mit 77,7 an, gefolgt von GPT-6.1 Sol mit 76,1, Gemini 4 Argon mit 75,0 und Claude Opus 5.5 mit 74,1; Muse Spark 1.3 lag mit 61,1 hinten. Belebte Straßenszenen waren für jeden Agenten der schwierigste Bereich, das Erzählen die schwächste visuelle Dimension. Die drei Befunde der Autoren: Das visuelle Verständnis von Raum und Kamerabewegung trennt die Agenten; alle beherrschen einfache Kameraarbeit und Inszenierung, scheitern aber an schwierigen Wünschen; und die Agenten sehen sich ihre Renderings an, korrigieren Fehler aber selten.

Die Kosten unterscheiden sich stark. Astra kostete im Schnitt 32,59 $ pro Aufgabe, gegenüber 7,82 $ bei Opus 5.5, 6,71 $ bei GPT-6.1 Sol und 4,45 $ bei Gemini 4 Argon. Mehr Durchgänge gingen mit niedrigeren Werten einher. Wer Blender über einen Agenten steuert, etwa mit MCP for Blender, sollte den Agenten sein Rendering Punkt für Punkt mit dem Auftrag abgleichen lassen.

Der Haken: Es ist ein Preprint eines Videounternehmens mit eigenem Interesse am Ergebnis, und der visuelle Richter ist selbst ein Modell mit eigenen blinden Flecken. Zwei Beispiele zeigen, dass Fehler im Proxy ins fertige Video gelangen, aber wie oft das passiert, wurde nicht gemessen.

Unser Fazit: Astras Vorsprung ist knapp und teuer: rund 32,59 $ pro Aufgabe gegenüber 7,82 $ bei Opus 5.5 und 6,71 $ bei GPT-6.1 Sol. Für Blender-Arbeit mit Werkzeugen wie MCP for Blender ist die nützlichere Warnung, dass Agenten hinsehen, aber nicht reparieren.

Unsere Testberichte:GPT-6 AstraClaude Opus 5.5MCP for Blender

Quelle: arXiv (Hugging Face Daily Papers)

Weitere Artikel