A maioria dos benchmarks científicos para IA usa figuras limpas para publicação. O trabalho real de laboratório é diferente: géis borrados, placas com etiqueta errada, séries de microscopia fora de foco e controles que falham sem aviso. A OpenAI e a Ligo, uma empresa de biotecnologia que projeta enzimas, criaram o BioBasicsBench para testar agentes nessas evidências mais bagunçadas, e os resultados mostram tanto progresso real quanto o tipo de erro que custaria uma semana a um laboratório.
O benchmark tem 100 tarefas em cinco áreas de trabalho de rotina: métodos com proteínas, imagem e citometria, quantificação e ensaios, métodos com ácidos nucleicos e clonagem molecular. Cientistas as escreveram a partir dos próprios experimentos, com imagens de géis e blots, fotos de placas, microscopia bruta, arquivos de sequenciamento, exportações de leitores de placas e até vídeos de bancada. Cada tarefa passou por três rodadas de revisão, uma delas feita por um cientista externo com doutorado, e é avaliada por uma rubrica de especialistas que dá crédito parcial e premia reconhecer quando as evidências não bastam.
A OpenAI testou sete modelos próprios em 37 configurações de raciocínio, com cinco tentativas por tarefa, num total de 18.500 resultados. No nível mais alto comum a todos, o GPT-6 Astra obteve 66,7% do crédito disponível, à frente do GPT-6.1 Sol, com 62,0%, e bem à frente do GPT-5.6 Sol, com 43,8%, usando cerca de metade dos tokens de saída por tarefa. Os exemplos dizem muito. O Astra percebeu que uma placa de controle negativo estava etiquetada para canamicina quando o experimento usava ampicilina, e a descartou; reconheceu uma série de imagens de microscópio como uma varredura em profundidade, e não como células sumindo; e se recusou a declarar células mortas com base no sinal de um corante que um segundo corante poderia ter produzido.
Para quem leu nossa análise do GPT-6 Astra, isso reforça que seus ganhos vêm sobretudo do melhor tratamento de imagens e outros dados brutos. A própria conclusão da OpenAI aponta na mesma direção e credita uma capacidade multimodal nativa mais forte.
As falhas são igualmente instrutivas. O Astra deixou uma suposição comum, a de que um produto de PCR maior indica clonagem bem-sucedida, se sobrepor ao que os controles mostravam, e escolheu as colônias erradas. Descartou vacúolos mais claros que contradiziam sua descrição preferida e, numa placa, contou cerca de 12% de colônias a mais. Um terço do crédito ainda ficou de fora em trabalho de rotina, então qualquer laboratório que use um agente assim deve manter um cientista conferindo cada leitura. O benchmark é da própria OpenAI, construído com um único parceiro e testado só em modelos da OpenAI, então ainda não se sabe como os sistemas rivais se comparam.