Quand un laboratoire affirme qu'un nouveau modèle est plus sûr que le précédent, cette affirmation ne vaut que par les tests qui la soutiennent. Anthropic a publié un long guide sur la façon dont il construit ses évaluations de sécurité, et le passage le plus utile est un aveu : ses tests en un seul tour ne départagent plus les modèles. Pour qui choisit entre Claude Opus 5.5, Claude Fable 5.1 ou un concurrent sur la foi d'une fiche système, cela change le poids à accorder aux chiffres mis en avant.
Les chiffres sont nets. Sur l'API d'Anthropic, tous les modèles récents obtiennent entre 94% et 98% de réponses inoffensives dans les batteries en un tour, qui couvrent 16 domaines de règles dans sept langues. Ces tests servent désormais surtout à repérer des régressions. L'entreprise soutient que le vrai préjudice s'accumule souvent au fil d'une conversation : un utilisateur évoque tôt la perte de son emploi, puis pose bien plus tard une question d'apparence banale. Elle s'appuie donc sur des simulations en plusieurs tours, où un autre modèle Claude joue l'utilisateur selon un cahier des charges rédigé par un spécialiste du domaine, et où un modèle correcteur déclare toute la conversation en échec si un seul tour dérape.
Le guide ne cache pas la fragilité des chiffres. Les intervalles de confiance des résultats en plusieurs tours sur l'API peuvent dépasser plus ou moins 10 points de pourcentage. Sur un test d'arnaques sentimentales, Claude Opus 5 a obtenu 98% et Opus 5.5 94%, sans que l'écart soit statistiquement significatif. La configuration pèse encore plus : pour Fable 5.1, les résultats de l'API et de claude.ai ont différé de jusqu'à 34 points, et une modification du prompt système a fait passer une mesure sur l'automutilation de 60% sur l'API à 94% sur claude.ai. Anthropic indique aussi qu'après ses propres incidents il a durci les environnements de test et suspendu de nombreuses évaluations donnant aux modèles un accès à internet.
Les conseils pratiques relèvent du manuel de méthode : fixer la mesure avant de collecter les données, vérifier le correcteur face à des annotations humaines, prévoir au moins 100 éléments pour un test complexe en plusieurs tours et 1 000 pour un test simple, et publier l'incertitude. Beaucoup rappelle les réformes adoptées par la psychologie après sa crise de la réplication, et le guide renvoie au cadre Inspect du UK AI Security Institute et à la boîte à outils Petri d'Anthropic.
La limite évidente est que l'entreprise qui note les tests construit aussi les modèles. Le guide partage la méthode, pas les jeux de test, et personne à l'extérieur ne peut refaire les calculs. C'est une bonne norme à laquelle confronter Anthropic et ses concurrents, pas la preuve qu'un modèle la respecte.