Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Actualités et recherche IA

Actualités ·

OpenAI laisse quatre groupes extérieurs travailler dans ses laboratoires pour auditer la sécurité

OpenAI a signé des accords avec Apollo Research, METR, Transluce et Goodfire pour des évaluations intégrées, avec accès aux checkpoints, aux données d'entraînement, aux systèmes de surveillance et au personnel. METR cherchera des comportements mal alignés dans la plus grande exécution d'apprentissage par renforcement d'OpenAI à ce jour, Apollo vérifiera si des modèles agissent en secret contre leurs développeurs, et Transluce examinera les tests d'alignement. OpenAI peut caviarder les informations confidentielles et demander des reports de publication.

Les évaluateurs de sécurité externes voient d'ordinaire un modèle d'IA en fin de parcours, via une API, sous pression. OpenAI laisse désormais quatre groupes travailler à l'intérieur de l'entreprise, avec un accès proche de celui de ses propres chercheurs, pendant l'entraînement et l'usage interne. La première phase concerne Apollo Research, METR, Transluce et Goodfire.

Chacun a sa mission. METR cherchera des comportements mal alignés dans la plus grande exécution d'apprentissage par renforcement d'OpenAI à ce jour, y compris des défaillances que les tests et la surveillance existants auraient pu manquer, et fixera ses propres priorités dans le périmètre convenu. Apollo Research vérifiera si des modèles pourraient agir en secret contre les intentions de leurs développeurs et si les garde-fous d'OpenAI le détecteraient, en évaluant quatre affirmations en deux étapes. Transluce examinera la qualité et la couverture des évaluations d'alignement après entraînement, avec une suite plus large d'environ huit semaines prévue début 2027. Goodfire intégrera des chercheurs en interprétabilité pour étudier le fonctionnement interne des modèles, surtout au profit des chercheurs d'OpenAI, tout en publiant ce qu'il apprend.

L'accès peut inclure des modèles et checkpoints non publiés, des données d'entraînement, des journaux de surveillance et du personnel. Les évaluateurs qui manipulent des éléments sensibles travaillent sur place sur des appareils d'OpenAI. Si les poids ou l'architecture sont trop sensibles, OpenAI peut associer les évaluateurs à ses propres chercheurs. Le comité de sûreté et de sécurité du conseil de l'OpenAI Foundation reçoit des rapports non caviardés, peut parler en privé aux évaluateurs et tranche les désaccords que le Safety Advisory Group et la direction ne règlent pas.

Le contexte est le White House Accord on Super Intelligence, par lequel les laboratoires ont accepté des évaluations indépendantes de leurs contrôles de sécurité. Anthropic a donné à METR un accès comparable à celui d'un salarié en octobre, et la revue de 11 semaines menée par METR y a déjà été publiée. La version d'OpenAI est plus large par le nombre de groupes, et s'appuie sur le dispositif de surveillance décrit le mois dernier.

Le hic est dans les petites lignes. OpenAI garde le droit de caviarder les informations confidentielles et de demander des reports de publication. Les échanges avec le personnel sont confidentiels ; les évaluateurs ne peuvent publier que des déclarations qu'OpenAI accepte de certifier, ou signaler son refus. Les règles sur les conflits d'intérêts et les périodes de carence sont encore en cours d'écriture, et une revue plus large de la surveillance par METR attend un accord sur son périmètre. L'indépendance se jugera à ce que diront vraiment les premiers rapports, et à la part caviardée.

Notre avis : C'est un accès plus profond que celui offert par la plupart des laboratoires, et il fait suite à un accord similaire d'Anthropic avec METR. Les points faibles sont le droit de caviardage d'OpenAI et les entretiens avec le personnel non attribuables : les rapports publiés montreront à quel point le processus est réellement indépendant.

Source : OpenAI

Autres articles