Quando um laboratório diz que um modelo novo é mais seguro que o anterior, essa afirmação vale o que valem os testes por trás dela. A Anthropic publicou um longo guia sobre como monta suas avaliações de segurança, e a parte mais útil é uma admissão: os testes de um único turno já não diferenciam os modelos. Para quem escolhe entre Claude Opus 5.5, Claude Fable 5.1 ou um rival com base num system card, isso muda o peso que os números de destaque devem ter.
Os dados são claros. Na API da Anthropic, todos os modelos recentes ficam entre 94% e 98% de respostas inofensivas nas baterias de um turno, que cobrem 16 áreas de política em sete idiomas. Esses testes hoje servem sobretudo para checar regressões. A empresa argumenta que o dano real costuma se acumular ao longo de uma conversa: o usuário conta no início que perdeu o emprego e, muitos turnos depois, faz uma pergunta de aparência comum. Por isso ela passou a usar simulações de vários turnos em que outro modelo Claude faz o papel do usuário, seguindo uma especificação escrita por um especialista no assunto, e um modelo avaliador reprova a conversa inteira se um único turno der errado.
O guia é franco sobre a fragilidade dos números. Os intervalos de confiança dos resultados de vários turnos na API podem passar de mais ou menos 10 pontos percentuais. Num teste sobre golpes românticos, o Claude Opus 5 marcou 98% e o Opus 5.5 marcou 94%, mas a diferença não era estatisticamente significativa. A configuração pesa ainda mais: no Fable 5.1, os resultados da API e do claude.ai chegaram a diferir 34 pontos, e uma mudança no prompt de sistema elevou uma medida sobre automutilação de 60% na API para 94% no claude.ai. A Anthropic também diz que, depois dos próprios incidentes, reforçou os ambientes de teste e suspendeu muitas avaliações que dão acesso à internet aos modelos.
Os conselhos práticos parecem de um manual de método: definir a medida antes de coletar dados, conferir o avaliador com rótulos humanos, usar pelo menos 100 itens num teste complexo de vários turnos e 1.000 num simples, e informar a incerteza. Muito disso lembra as reformas que a psicologia adotou depois da crise de replicação, e o guia indica o framework Inspect do UK AI Security Institute e o kit Petri da própria Anthropic.
O limite óbvio é que a empresa que corrige os testes também constrói os modelos. O guia compartilha o método, não os conjuntos de teste, então ninguém de fora consegue refazer os números. É um bom padrão para cobrar da Anthropic e dos rivais, não uma prova de que algum modelo o cumpre.