La plupart des benchmarks scientifiques pour l'IA utilisent des figures nettoyées pour la publication. Le vrai travail de laboratoire est différent : gels brouillés, boîtes mal étiquetées, piles d'images de microscope floues et contrôles qui échouent en silence. OpenAI et Ligo, une biotech qui conçoit des enzymes, ont créé BioBasicsBench pour tester des agents sur ces données plus désordonnées, et les résultats montrent à la fois un vrai progrès et le genre d'erreurs qui coûteraient une semaine à un laboratoire.
Le benchmark compte 100 tâches réparties dans cinq domaines du travail courant : méthodes protéiques, imagerie et cytométrie, quantification et dosages, méthodes sur les acides nucléiques et clonage moléculaire. Des scientifiques les ont rédigées à partir de leurs propres expériences, avec des images de gels et de blots, des photos de boîtes, de la microscopie brute, des fichiers de séquençage, des exports de lecteurs de plaques et même des vidéos de paillasse. Chaque tâche a subi trois relectures, dont une par un scientifique extérieur titulaire d'un doctorat, et est notée selon une grille d'experts qui accorde des points partiels et récompense le fait de dire quand les éléments ne suffisent pas.
OpenAI a testé sept de ses modèles sur 37 niveaux de raisonnement, avec cinq essais par tâche, soit 18 500 résultats. Au niveau le plus élevé commun à tous, GPT-6 Astra obtient 66,7 % des points possibles, devant GPT-6.1 Sol à 62,0 % et nettement devant GPT-5.6 Sol à 43,8 %, avec environ moitié moins de tokens de sortie par tâche. Les exemples sont parlants. Astra a remarqué qu'une boîte de contrôle négatif était étiquetée pour la kanamycine alors que l'expérience utilisait de l'ampicilline, et l'a écartée ; il a reconnu une série d'images de microscope comme un balayage en profondeur et non comme des cellules qui disparaissent ; et il a refusé de déclarer des cellules mortes sur la base du signal d'un colorant qu'un second colorant pouvait avoir produit.
Pour les lecteurs de notre test de GPT-6 Astra, cela appuie l'idée que ses progrès viennent surtout d'un meilleur traitement des images et autres données brutes. La conclusion d'OpenAI va dans le même sens et l'attribue à de meilleures capacités multimodales natives.
Les échecs sont tout aussi instructifs. Astra a laissé une hypothèse familière, selon laquelle un produit de PCR plus grand signale un clonage réussi, l'emporter sur ce que montraient les contrôles, et a choisi les mauvaises colonies. Il a écarté des vacuoles plus claires qui contredisaient sa description préférée et a surestimé d'environ 12% le nombre de colonies sur une boîte. Un tiers des points a encore été perdu sur du travail courant : tout laboratoire utilisant un tel agent devrait faire vérifier chaque lecture par un scientifique. Le benchmark est celui d'OpenAI, conçu avec un seul partenaire et testé uniquement sur des modèles OpenAI ; on ne sait pas encore comment se situent les systèmes concurrents.