Les évaluateurs externes de modèles d'IA voient d'ordinaire ce qu'un laboratoire choisit de leur montrer : un modèle derrière une API, un document, une présentation. Anthropic est allé plus loin avec METR, l'organisation à but non lucratif qui évalue les modèles de pointe. Il a accueilli six salariés de METR, avec du matériel de l'entreprise, des bureaux et un accès aux outils et systèmes internes à peu près équivalent à celui de ses propres équipes d'évaluation des risques, et METR publiera ses conclusions sur les niveaux de risque, les incidents et les pratiques.
Ce sont les règles qui en font plus qu'un geste. Hors de quelques catégories définies, comme les données clients, les documents couverts par le secret professionnel et les détails d'architecture des modèles, les salariés d'Anthropic sont invités à partager des informations avec l'équipe de METR comme avec un collègue travaillant sur les risques d'alignement. Anthropic ne peut pas opposer de veto à la publication. Il peut exiger le caviardage d'informations relevant de catégories prédéfinies, comme la propriété intellectuelle confidentielle, et décide de ce qui en relève, mais METR conserve le droit de dire publiquement quel accès il a obtenu. L'équipe de METR travaille sous des accords contraignants et reste séparée des autres chercheurs de METR qui collaborent avec Anthropic sur d'autres projets.
Anthropic justifie le dispositif par une analogie avec la supervision bancaire, où les régulateurs placent des inspecteurs au sein des plus grandes banques parce que les initiés connaissent mieux leurs risques. Il fait suite à la signature par Anthropic du White House Accord on Super Intelligence, par lequel les entreprises se sont engagées à travailler avec des auditeurs ou évaluateurs indépendants. Anthropic décrit trois niveaux d'accès : des enquêtes ciblées publiées avec son accord, un accès plus large avec publication sans accord, et le modèle intégré désormais appliqué à METR. SecureBio examine le chapitre consacré aux armes chimiques et biologiques du rapport de risques d'août d'Anthropic, Accenture et Faculty préparent un partenariat plus large, et des discussions sont en cours avec d'autres, dont Hugging Face.
Pour les utilisateurs de Claude, l'intérêt pratique est un second récit, indépendant, du niveau de risque des modèles d'Anthropic, ce qui compte davantage après des épisodes comme le comportement de Claude Mythos 5 lors des tests du gouvernement britannique. Anthropic fixe aussi des critères pour les évaluateurs : compétence, absence de participation au capital ou de dépendance financière, et accès suffisant pour juger correctement les risques.
L'épreuve reste à venir. Aucun rapport de METR n'a encore été publié dans ce cadre, et sa crédibilité dépendra de la capacité de ses conclusions à diverger de celles d'Anthropic et de la fréquence des caviardages. Six personnes forment une petite équipe pour une entreprise de la taille d'Anthropic. Et le dispositif est volontaire : il n'engage Anthropic que tant qu'Anthropic choisit de le maintenir. Les autres laboratoires disposent désormais d'un repère clair, à atteindre ou à refuser en s'en expliquant.