Ein großer Teil der kritischen Software der Welt ist in Sprachen geschrieben, mit denen KI-Programmierwerkzeuge schlecht umgehen. Für COBOL, Fortran und Visual Basic gibt es weit weniger öffentlichen Code und Dokumentation zum Lernen als für Python oder JavaScript, und doch stützt laut OpenAI allein COBOL mehr als 40% der Onlinebanking-Systeme. OpenAI meldet nun große Fortschritte bei zwei eigens dafür gebauten Tests, und die Zahlen sind für Banken, Versicherer und Behörden mit jahrzehntealtem Code von Belang.
Der erste Test, MultiLangBench, verlangt von einem Modell, in einer von 20 Sprachen von Grund auf eine SQLite-kompatible Datenbank-Engine zu bauen, geprüft mit Tests aus SQLites eigener Testsammlung. Bei maximalem Denkaufwand besteht GPT-6 Astra im Schnitt 87,4% der Tests, gegenüber 26,8% für GPT-5.6 Sol, und liegt in 19 der 20 Sprachen über 83%. COBOL bleibt mit 72,1% am schwersten, nach 10,9% zuvor; Fortran steigt von 21,4% auf 83,5% und Visual Basic von 27,5% auf 89,4%. Das günstigere GPT-6 Luna erreicht 40,3% bei etwa 0,77 Dollar pro Durchlauf, gegenüber 3,48 Dollar für GPT-5.6 Sol.
Der zweite Test ist näher an echter Arbeit: bestehende COBOL-Programme nach C++, Java, Kotlin, Python oder Rust zu migrieren, wobei eine Migration nur zählt, wenn verborgene Tests eine bytegenau identische Ausgabe zeigen. Dieser Maßstab ist wichtig, weil COBOLs Festkommaarithmetik überzählige Nachkommastellen verwirft, sofern nicht ausdrücklich gerundet wird; eine Neufassung, die rundet, kann fehlerfrei laufen und doch andere Ergebnisse liefern. GPT-6.1 Sol erreicht 86,6% bei niedrigem Aufwand, gegenüber 5,4% für GPT-5.6 Sol bei gleicher Einstellung, und 97,9% bei höherem Aufwand, nahe an der Obergrenze.
Für Leser, die Programmiermodelle vergleichen, ist das die bisher stärkste öffentliche Behauptung, dass Frontier-Modelle bei Altsprachen helfen können, und OpenAI hat Aufbau und Ergebnisse pro Sprache von MultiLangBench auf GitHub veröffentlicht, sodass andere sie prüfen können. Diese Offenheit zählt mehr als die Schlagzahlen.
Die Vorbehalte sind erheblich. Beide Tests stammen von OpenAI und zeigen nur OpenAI-Modelle, einen Vergleich mit Claude oder Gemini gibt es nicht. Eine Datenbank-Engine nach bekannter Spezifikation zu bauen ist etwas anderes, als ein 40 Jahre altes Banksystem zu pflegen, dessen Geschäftsregeln womöglich nur im Code stehen, geschrieben von Entwicklern, die längst gegangen sind. Dass der Migrationstest fast ausgereizt ist, sagt mehr über den Test als über die Produktionsreife, und OpenAI selbst sagt, echte Migrationen bräuchten weiterhin fachkundige Prüfung und Tests gegen die Geschäftsregeln. Sorgfältige Pilotprojekte mit dem eigenen Code bleiben der einzige verlässliche Maßstab.