Une grande partie des logiciels critiques du monde est écrite dans des langages que les outils de programmation par IA maîtrisent mal. COBOL, Fortran et Visual Basic offrent bien moins de code et de documentation publics que Python ou JavaScript pour apprendre, et pourtant OpenAI rappelle que COBOL fait à lui seul tourner plus de 40 % des systèmes de banque en ligne. OpenAI annonce de fortes progressions sur deux tests conçus pour le mesurer, des chiffres qui comptent pour les banques, les assureurs et les administrations assis sur du code vieux de plusieurs décennies.
Le premier test, MultiLangBench, demande à un modèle de construire de zéro un moteur de base de données compatible SQLite dans l'un de 20 langages, vérifié par des tests adaptés de la suite de SQLite. À l'effort de raisonnement maximal, GPT-6 Astra réussit en moyenne 87,4 % des tests, contre 26,8 % pour GPT-5.6 Sol, et dépasse 83 % dans 19 des 20 langages. COBOL reste le plus difficile avec 72,1 %, contre 10,9 % auparavant ; Fortran passe de 21,4 % à 83,5 % et Visual Basic de 27,5 % à 89,4 %. Le moins cher GPT-6 Luna atteint 40,3 % pour environ 0,77 dollar par essai, contre 3,48 pour GPT-5.6 Sol.
Le second test est plus proche du travail réel : migrer des programmes COBOL existants vers C++, Java, Kotlin, Python ou Rust, une migration ne comptant que si des tests cachés montrent une sortie identique à l'octet près. Ce critère compte, car l'arithmétique à virgule fixe de COBOL supprime les décimales en trop sauf demande explicite d'arrondi, et une réécriture qui arrondit peut tourner sans erreur tout en donnant d'autres résultats. GPT-6.1 Sol atteint 86,6 % en effort faible, contre 5,4 % pour GPT-5.6 Sol au même réglage, et 97,9 % en effort plus élevé, près du plafond.
Pour qui compare des modèles de programmation, c'est l'affirmation publique la plus solide à ce jour que les modèles de pointe peuvent aider sur les langages anciens, et OpenAI a publié sur GitHub le dispositif de MultiLangBench et les résultats par langage, ce qui permet à d'autres de vérifier. Cette transparence pèse plus que les chiffres phares.
Les réserves sont sérieuses. Les deux tests ont été conçus par OpenAI et ne présentent que des modèles OpenAI, sans comparaison avec Claude ni Gemini. Construire un moteur de base de données selon une spécification connue n'a rien à voir avec l'entretien d'un système bancaire vieux de 40 ans dont les règles métier n'existent parfois que dans le code, écrit par des développeurs partis depuis longtemps. Quasiment saturer le test de migration en dit plus sur le test que sur la maturité pour la production, et OpenAI reconnaît que les vraies migrations exigent encore une revue experte et des tests au regard des règles métier. Des pilotes soigneux sur son propre code restent la seule mesure fiable.