La question de savoir si l'IA accélère son propre développement a surtout été débattue depuis l'extérieur des laboratoires. METR, un groupe indépendant de recherche en sécurité de l'IA, a désormais regardé de l'intérieur de l'un d'eux. Après une enquête de 11 semaines chez Anthropic, il indique que les modèles de l'entreprise progressent environ deux fois plus vite qu'il y a un an, et que l'essentiel de cette accélération vient de l'IA elle-même.
Selon le compte rendu du rapport par The Verge, les scores de benchmarks suggèrent qu'Anthropic a accompli environ deux ans de progrès historique au cours de l'année écoulée. METR se dit sûr qu'il ne s'agit pas simplement de davantage de calcul d'entraînement, principal moteur des progrès de l'IA jusqu'ici ; en octobre, la majorité de l'accélération « est due à l'IA », et cette part augmente. Les employés qui utilisent le modèle interne le plus performant d'Anthropic se disent environ 12 fois plus productifs que sans aide de l'IA, à peu près le double de ce qu'ils déclaraient quelques mois plus tôt avec Mythos 5. L'essentiel du gain vient encore d'une IA qui assiste des chercheurs humains, mais METR voit des signes que les contributions entièrement autonomes compteront bientôt davantage, et n'a trouvé aucun goulet d'étranglement net freinant une progression plus rapide. Le rapport indique aussi qu'Anthropic a fini d'entraîner ces six derniers mois trois modèles non publiés, aux noms de code Model 2, Model 3 et Model 4.
Le hic, c'est ce que le public ne peut pas voir. Anthropic avait le droit de caviarder le rapport final et en a largement usé. METR dit avoir remis un rapport d'environ 100 pages et qu'Anthropic a retiré la majorité des éléments que METR jugeait les plus parlants, au motif d'éviter d'aider ses concurrents ; selon METR, l'essentiel de ce qui a été coupé était très général. En conséquence, écrit METR, le public doit se fier à son jugement bien plus qu'il ne serait souhaitable. Le cofondateur d'Anthropic Sam McCandlish a admis que le caviardage rend le travail plus difficile à vérifier.
Les réactions sont vives. Des chercheurs cités par The Verge, dont Marius Hobbhahn d'Apollo Research, estiment que le rythme paraît plus rapide encore que celui de l'influent scénario AI 2027, et les critiques soulignent l'écart entre les appels d'Anthropic à ralentir le développement et sa propre vitesse, alors que l'entreprise prépare son introduction en bourse.
Pour les utilisateurs de Claude, la lecture pratique est que les modèles derrière les outils de nos tests continueront probablement d'évoluer vite, des versions internes plus puissantes étant déjà utilisées. Pour tous les autres, la question ouverte est celle du contrôle. Un chiffre de productivité autodéclaré et une évaluation largement caviardée sont un début, pas le type de preuve indépendante et vérifiable qui permettrait de savoir à quelle vitesse les choses avancent vraiment.