La mayoría de los benchmarks científicos para IA usan figuras pulidas para su publicación. El trabajo real de laboratorio es distinto: geles emborronados, placas mal etiquetadas, series de microscopio desenfocadas y controles que fallan sin avisar. OpenAI y Ligo, una empresa biotecnológica que diseña enzimas, han creado BioBasicsBench para poner a prueba a los agentes con esas pruebas más desordenadas, y los resultados muestran tanto un avance real como el tipo de errores que costarían una semana a un laboratorio.
El benchmark tiene 100 tareas de cinco áreas de trabajo rutinario: métodos con proteínas, imagen y citometría, cuantificación y ensayos, métodos con ácidos nucleicos y clonación molecular. Las redactaron científicos a partir de sus propios experimentos, con imágenes de geles y blots, fotos de placas, microscopía en bruto, archivos de secuenciación, exportaciones de lectores de placas e incluso vídeos de trabajo en el banco. Cada tarea pasó tres rondas de revisión, una de ellas a cargo de un científico externo con doctorado, y se califica con una rúbrica experta que da créditos parciales y premia reconocer cuándo las pruebas no bastan.
OpenAI probó siete de sus modelos en 37 configuraciones de razonamiento, con cinco intentos por tarea, para un total de 18.500 resultados. En el ajuste más alto común a todos, GPT-6 Astra obtuvo el 66,7% del crédito disponible, por delante de GPT-6.1 Sol con el 62,0% y muy por delante de GPT-5.6 Sol con el 43,8%, usando aproximadamente la mitad de tokens de salida por tarea. Los ejemplos son reveladores. Astra vio que una placa de control negativo estaba etiquetada para kanamicina cuando el experimento usaba ampicilina, y la descartó; reconoció una serie de imágenes de microscopio como un barrido en profundidad y no como células que desaparecían; y se negó a declarar muertas unas células a partir de la señal de un colorante que podía haber producido un segundo colorante.
Para quien haya leído nuestra reseña de GPT-6 Astra, esto respalda que sus mejoras proceden sobre todo de un mejor manejo de imágenes y otros datos en bruto. La conclusión de la propia OpenAI apunta en la misma dirección y lo atribuye a una mejor capacidad multimodal nativa.
Los fallos son igual de instructivos. Astra dejó que una suposición habitual, que un producto de PCR más grande indica una clonación lograda, se impusiera a lo que mostraban los controles, y eligió las colonias equivocadas. Descartó vacuolas más claras que contradecían su descripción preferida y, en una placa, contó alrededor de un 12% más de colonias de las que había. Aún se perdió un tercio del crédito en trabajo rutinario, así que cualquier laboratorio que use un agente así debería tener a un científico revisando cada lectura. El benchmark es de la propia OpenAI, creado con un único socio y probado solo con modelos de OpenAI, así que todavía no se sabe cómo se comparan los sistemas rivales.