Die meisten KI-Benchmarks testen Rätsel, Prüfungsfragen oder Programmieraufgaben. OpenAIs LifeVal weist in eine nützlichere Richtung: Es bewertet KI an der faden Verwaltung des Alltags, der Art von Aufgabe, bei der Menschen wirklich Hilfe wollen. Wenn Assistenten je ihren Lohn verdienen sollen, dann beim Finden von Kinderbetreuung, beim Ausfüllen eines Behördenformulars oder beim Aufstellen eines Budgets, nicht bei Wettbewerbsmathematik, ein auf echte Alltagsarbeiten gerichteter Benchmark ist also der richtige Instinkt.
Wie OpenAI die Aufgaben wählte, ist der stärkste Teil. Statt zu raten, stützte es sich auf zwei große Zeitverwendungsstudien, den American Time Use Survey und die Multinational Time Use Study, die erfassen, wie Menschen ihre Tage über verschiedene Gruppen, Zeiten und Jahreszeiten tatsächlich verbringen. Dann führte es eine demografisch repräsentative Umfrage unter 3.995 Personen durch, um zu finden, wo sie Hilfe von einem persönlichen Assistenten am meisten schätzen würden. Die daraus entstehenden Aufgaben umfassen Pflege, Gesundheit, Bildung, Haushaltsverwaltung, persönliche Finanzen, Einkaufen und den Zugang zu Behördendiensten, wobei Agenten Browser, Computer und Konnektoren nutzen, um sie auszuführen.
Das Problem ist, was OpenAI nicht zeigt. Der Beitrag zeigt eine Handvoll Beispielergebnisse zwischen 90.4% und 100%, nennt aber keine Modelle, gibt keine Gesamtzahl der Aufgaben an und beschreibt nicht, wie Antworten bewertet werden. Wir rezensieren ChatGPT, das Produkt, das dies verbessern soll, und diese hohen Zahlen lassen sich leicht als Behauptung lesen, es könne schon deine Besorgungen erledigen. Das belegen sie nicht. Ein Wert bedeutet nur etwas, wenn man weiß, welches Modell ihn erzielte, bei wie vielen Aufgaben und nach welchem Maßstab, und hier fehlt alles dreierlei.
Es gibt auch keine externe Validierung. LifeVal ist eine interne Bewertung, die OpenAI nach eigenen Angaben im vergangenen Jahr genutzt hat, um die eigenen Modelle voranzutreiben, was es ebenso zu einem Optimierungsziel wie zu einem Test macht. Ein Benchmark, den dieselbe Firma baut, bewertet und berichtet, hat einen offensichtlichen Anreiz zu schmeicheln, und nichts hier lässt einen Leser die Zahlen unabhängig prüfen.
Trotzdem verdient die Richtung Anerkennung. Zu messen, ob ein Assistent den Papierkram und die Entscheidungen des gewöhnlichen Lebens bewältigt, ist ehrlicher darüber, wofür diese Werkzeuge verkauft werden, als ein weiteres Wissensquiz. Vorerst liest man LifeVal am besten als Absichtserklärung und Hinweis darauf, wohin OpenAI ChatGPT steuert, nicht als Beweis, dass die Arbeit getan ist. Die Zahl, auf die es sich zu warten lohnt, ist eine unabhängige, zu benannten Modellen, mit offengelegtem Aufgabensatz und Bewertungsverfahren.