Cuando un laboratorio dice que un modelo nuevo es más seguro que el anterior, esa afirmación vale lo que valen las pruebas que la respaldan. Anthropic ha publicado una larga guía sobre cómo construye sus evaluaciones de seguridad, y lo más útil es una admisión: sus pruebas de un solo turno ya no distinguen entre modelos. Para quien elige entre Claude Opus 5.5, Claude Fable 5.1 o un rival basándose en una ficha técnica, eso cambia cuánto deben contar las cifras de portada.
Los datos son claros. En la API de Anthropic, todos los modelos recientes obtienen entre un 94% y un 98% de respuestas inofensivas en sus baterías de un solo turno, que abarcan 16 áreas de política en siete idiomas. Esas pruebas sirven ahora sobre todo para detectar regresiones. La empresa sostiene que el daño real suele acumularse a lo largo de una conversación: un usuario menciona al principio que ha perdido el trabajo y muchos turnos después hace una pregunta de apariencia normal. Por eso se apoya ahora en simulaciones de varios turnos en las que otro modelo Claude interpreta al usuario, siguiendo una especificación escrita por un experto en la materia, y un modelo evaluador da por suspendida toda la conversación si un solo turno sale mal.
La guía es franca sobre lo frágiles que son las cifras. Los intervalos de confianza de los resultados de varios turnos en la API pueden superar más o menos 10 puntos porcentuales. En una prueba sobre estafas románticas, Claude Opus 5 obtuvo un 98% y Opus 5.5 un 94%, pero la diferencia no era estadísticamente significativa. La configuración pesa aún más: en Fable 5.1 los resultados de la API y de claude.ai llegaron a diferir 34 puntos, y un cambio en el prompt de sistema elevó una medida sobre autolesiones del 60% en la API al 94% en claude.ai. Anthropic también explica que, tras sus propios incidentes, reforzó los entornos de prueba y suspendió muchas evaluaciones que dan acceso a internet a los modelos.
Los consejos prácticos parecen de un manual de métodos: decidir la medida antes de recoger datos, contrastar el evaluador con etiquetas humanas, usar al menos 100 elementos en una prueba compleja de varios turnos y 1.000 en una sencilla, e informar de la incertidumbre. Buena parte recuerda las reformas que adoptó la psicología tras su crisis de replicación, y remite al marco Inspect del UK AI Security Institute y al kit Petri de la propia Anthropic.
El límite evidente es que la empresa que califica las pruebas también construye los modelos. La guía comparte el método, no los conjuntos de prueba, así que nadie de fuera puede repetir las cifras. Es un buen estándar al que someter a Anthropic y a sus rivales, no una prueba de que algún modelo lo cumpla.