Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

Forschung ·

Googles Agile Deliberation hilft, unscharfe Kategorien für Bildklassifikatoren festzulegen

Agile Deliberation von Google Research hilft beim Bau von Bildklassifikatoren für subjektive Kategorien wie gesundes Essen: Zuerst wird das Konzept in Unterkategorien und Ausschlüsse zerlegt, dann zeigt das System Grenzfälle und verfeinert den Prompt anhand des Feedbacks. In 18 Live-Sitzungen von je 1,5 Stunden verringerte es die Ermüdung der Nutzer und lieferte Klassifikatoren, die übliche Vergleichsmethoden schlugen. Der Code ist quelloffen.

Einem Modell beizubringen, ein Stoppschild zu erkennen, ist leicht, weil sich alle einig sind, was ein Stoppschild ist. Ihm beizubringen, gesundes Essen, inspirierende Kunst oder irreführende Werbung zu erkennen, ist schwerer, denn wer die Anweisungen gibt, weiß oft selbst nicht, wo die eigene Grenze liegt, bis ein schwieriges Beispiel auftaucht. Agile Deliberation von Google Research, auf der CVPR 2026 vorgestellt und jetzt als Open-Source-Code veröffentlicht, setzt genau dort an und ist für alle relevant, die Inhaltsregeln schreiben oder Bilder in großem Umfang kuratieren.

Die Methode hat zwei Stufen. Zuerst zerlegt der Nutzer eine breite Idee in das, was dazugehört, und das, was nicht dazugehört; beim gesunden Essen zählt das Beispiel Salate, Getreide-Bowls und magere Proteine dazu, verarbeitete Lebensmittel und rohe, unzubereitete Zutaten nicht. Dann sucht das System Bilder, die an der Grenze dieser schriftlichen Definition liegen, etwa einen Fruchtsmoothie, der zugleich rohes Obst und sehr zuckerhaltig ist. Der Nutzer entscheidet jeden Fall, und eine automatische Schleife schreibt den Prompt des Klassifikators passend um, sodass sich Definition und Klassifikator gemeinsam verändern.

Die Studie umfasste 18 Live-Sitzungen von je 90 Minuten mit zwei Konzepten: gesundes Essen und eine Moderationsaufgabe zu reißerischen Gaming-Bildern, die irreführende finanzielle oder digitale Belohnungen versprechen. Verglichen wurde Agile Deliberation mit einem einzelnen geschriebenen Prompt, einem früheren Google-System, das das Konzept ohne Rückfrage beim Nutzer zerlegt, und einem manuellen Ablauf mit Tabellen, geratenen Suchanfragen und von Hand bearbeiteten Prompts. Laut Blog übertrafen seine Klassifikatoren alle drei, mit den größten Gewinnen bei den schwierigsten Bildern, und das manuelle Bearbeiten verbesserte die Genauigkeit oft nicht oder verschlechterte sie. Aufwand und Stress sanken deutlich, und alle Teilnehmenden zogen es den manuellen Methoden vor.

Der Befund zum manuellen Bearbeiten ist der praktische. Viele Teams schreiben heute lange Prompts, mit denen Vision-Language-Modelle Bilder sortieren, und flicken sie dann Fehler für Fehler, in der Sorge, dass jede Korrektur etwas anderes kaputt macht. Agile Deliberation formalisiert, was gute Moderatoren ohnehin tun, nämlich eine Richtlinie an unbequemen Fällen zu prüfen, und lässt das Werkzeug statt des Menschen nach diesen Fällen suchen. Der Code liegt mit einem Demo-Notebook für das Beispiel gesundes Essen in Googles Repository google-research.

Die Belege sind stellenweise dünn. Der Blog nennt keine Genauigkeitswerte, nur Diagramme und Beschreibungen, und sagt nicht, wie viele verschiedene Personen teilnahmen oder wer sie waren, abgesehen von einigen Fachleuten. Zwei Konzepte sind ein schmaler Test für eine Methode, die für jede subjektive Kategorie gedacht ist. Die zugrunde liegenden Modelle werden nicht genannt, daher ist unklar, wie stark die Ergebnisse von Googles eigenen Systemen abhängen. Das Paper enthält die Details, aber bis andere es mit ihren eigenen Richtlinien erproben, ist es ein vielversprechender Ablauf und kein etablierter.

Unser Fazit: Die Definition des Nutzers als etwas zu behandeln, das sich beim Labeln verändert, passt dazu, wie Moderation und Kuratierung in der Praxis ablaufen. 18 Sitzungen sind eine kleine Studie, Teams sollten es als vielversprechenden Ablauf sehen, nicht als gesicherten Beleg.

Quelle: Google Research

Weitere Artikel