Die meisten Wissenschafts-Benchmarks für KI nutzen Abbildungen, die für die Veröffentlichung aufbereitet wurden. Echte Laborarbeit sieht anders aus: verschmierte Gele, falsch beschriftete Platten, unscharfe Mikroskopstapel und Kontrollen, die unbemerkt versagen. OpenAI und Ligo, ein Biotech-Unternehmen, das Enzyme entwirft, haben BioBasicsBench gebaut, um Agenten an solchen unordentlicheren Belegen zu testen, und die Ergebnisse zeigen echten Fortschritt ebenso wie Fehler, die ein Labor eine Woche kosten würden.
Der Benchmark umfasst 100 Aufgaben aus fünf Bereichen der Routinearbeit: Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden und molekulares Klonen. Wissenschaftler schrieben sie anhand eigener Experimente, mit Gel- und Blot-Bildern, Plattenfotos, rohen Mikroskopieaufnahmen, Sequenzierdateien, Exporten von Plattenlesern und sogar Videos von der Laborbank. Jede Aufgabe durchlief drei Prüfrunden, eine davon durch einen externen promovierten Wissenschaftler, und wird nach einem Expertenschema bewertet, das Teilpunkte vergibt und belohnt, wenn ein Agent sagt, dass die Belege nicht ausreichen.
OpenAI testete sieben eigene Modelle in 37 Denkstufen mit fünf Versuchen pro Aufgabe, zusammen 18.500 Ergebnisse. Auf der höchsten Stufe, die alle gemeinsam haben, erzielte GPT-6 Astra 66,7% der möglichen Punkte, vor GPT-6.1 Sol mit 62,0% und deutlich vor GPT-5.6 Sol mit 43,8%, bei etwa halb so vielen Ausgabetokens pro Aufgabe. Die Beispiele sind aufschlussreich. Astra bemerkte, dass eine Negativkontrollplatte für Kanamycin beschriftet war, obwohl das Experiment Ampicillin nutzte, und verwarf sie; es erkannte eine Serie von Mikroskopbildern als Tiefenscan statt als verschwindende Zellen; und es weigerte sich, Zellen anhand eines Farbstoffsignals für tot zu erklären, das auch ein zweiter Farbstoff erzeugt haben konnte.
Für Leser unseres Tests von GPT-6 Astra stützt das die Annahme, dass seine Fortschritte vor allem aus besserem Umgang mit Bildern und anderen Rohdaten stammen. OpenAIs eigenes Fazit weist in dieselbe Richtung und nennt stärkere native multimodale Fähigkeiten.
Die Fehlschläge sind ebenso lehrreich. Astra ließ eine vertraute Annahme, ein größeres PCR-Produkt bedeute erfolgreiches Klonen, über das siegen, was die Kontrollen zeigten, und wählte die falschen Kolonien. Es überging hellere Vakuolen, die seiner bevorzugten Beschreibung widersprachen, und zählte auf einer Platte etwa 12% zu viele Kolonien. Ein Drittel der Punkte blieb bei Routinearbeit liegen, daher sollte jedes Labor, das einen solchen Agenten nutzt, jede Ablesung von einem Wissenschaftler prüfen lassen. Der Benchmark stammt von OpenAI selbst, ist mit einem einzigen Partner gebaut und nur an OpenAI-Modellen getestet; wie konkurrierende Systeme abschneiden, ist noch unbekannt.