世界の重要なソフトウェアの多くは、AIのコーディングツールが苦手とする言語で書かれています。COBOL、Fortran、Visual Basicは、PythonやJavaScriptに比べて学習できる公開コードや文書がはるかに少ないのに、OpenAIによればCOBOLだけでオンラインバンキングのシステムの40%以上を支えています。OpenAIは、これを測るために作った2つの試験で大きな向上を報告しており、数十年前のコードを抱える銀行、保険会社、政府にとって意味のある数字です。
1つ目の試験MultiLangBenchは、20の言語のいずれかでSQLite互換のデータベースエンジンを一から作らせ、SQLite自身のテストを手直ししたもので検証します。最大の推論量で、GPT-6 Astraは平均87.4%のテストに合格し、GPT-5.6 Solの26.8%を大きく上回り、20言語のうち19で83%を超えました。最も難しいのは依然としてCOBOLで、10.9%から72.1%に上がりました。Fortranは21.4%から83.5%に、Visual Basicは27.5%から89.4%に伸びています。より安価なGPT-6 Lunaは40.3%で、1回あたり約0.77ドルと、GPT-5.6 Solの3.48ドルを下回ります。
2つ目の試験は実務に近いものです。既存のCOBOLプログラムをC++、Java、Kotlin、Python、Rustへ移行させ、隠されたテストで出力がバイト単位で一致した場合だけ成功と数えます。この基準が重要なのは、COBOLの固定小数点演算は丸めを明示しない限り余分な小数を切り捨てるため、丸めてしまう書き換えはエラーなく動いても違う結果を出しうるからです。GPT-6.1 Solは低い推論量で86.6%に達し、同じ設定のGPT-5.6 Solの5.4%を大きく上回り、高い推論量では上限に近い97.9%でした。
コーディングモデルを比べる読者にとって、これは最先端モデルがレガシー 言語の作業を助けられるという、これまでで最も強い公開の主張です。OpenAIはMultiLangBenchの環境と言語別の結果をGitHubで公開しており、ほかの人が検証できます。この公開は、見出しの数字より重みがあります。
注意点は大きいものです。どちらの試験もOpenAIが作り、OpenAIのモデルの結果しか示していないため、ClaudeやGeminiとの比較はありません。既知の仕様どおりにデータベースエンジンを作ることは、業務ルールがとうに去った開発者の書いたコードの中にしか残っていないかもしれない40年前の銀行システムを保守することとは違います。移行試験がほぼ上限に達したことは、本番での実用性よりも試験そのものについて多くを語っており、OpenAI自身も実際の移行には専門家の確認と業務ルールに照らしたテストが今も必要だとしています。自社のコードでの慎重な試行が、依然として唯一の信頼できる物差しです。