세계의 중요한 소프트웨어 상당수는 AI 코딩 도구가 잘 다루지 못하는 언어로 쓰여 있습니다. COBOL, Fortran, Visual Basic은 Python이나 JavaScript보다 배울 수 있는 공개 코드와 문서가 훨씬 적지만, OpenAI에 따르면 COBOL 하나가 온라인 뱅킹 시스템의 40% 넘게를 떠받칩니다. OpenAI는 이를 재려고 만든 두 시험에서 큰 향상을 보고했으며, 수십 년 된 코드를 가진 은행, 보험사, 정부에 의미 있는 수치입니다.
첫 번째 시험 MultiLangBench는 20개 언어 중 하나로 SQLite 호환 데이터베이스 엔진을 처음부터 만들게 하고, SQLite 자체 테스트를 고쳐 쓴 것으로 검증합니다. 최대 추론 강도에서 GPT-6 Astra는 평균 87.4%의 테스트를 통과해 GPT-5.6 Sol의 26.8%를 크게 넘었고, 20개 언어 중 19개에서 83%를 넘었습니다. 가장 어려운 언어는 여전히 COBOL로, 10.9%에서 72.1%로 올랐습니다. Fortran은 21.4%에서 83.5%로, Visual Basic은 27.5%에서 89.4%로 높아졌습니다. 더 저렴한 GPT-6 Luna는 표본당 약 0.77달러로 40.3%를 기록했으며, GPT-5.6 Sol은 3.48달러였습니다.
두 번째 시험은 실제 업무에 더 가깝습니다. 기존 COBOL 프로그램을 C++, Java, Kotlin, Python, Rust로 옮기게 하고, 숨겨진 테스트에서 출력이 바이트 단위로 같을 때만 성공으로 칩니다. 이 기준이 중요한 이유는 COBOL의 고정소수점 연산이 반올림을 명시하지 않으면 남는 소수 자릿수를 버리기 때문인데, 반올림하는 재작성은 오류 없이 돌아가면서도 다른 결과를 낼 수 있습니다. GPT-6.1 Sol은 낮은 추론 강도에서 86.6%로 같은 설정의 GPT-5.6 Sol의 5.4%를 크게 앞섰고, 높은 강도에서는 상한에 가까운 97.9%였습니다.
코딩 모델을 비교하는 독자에게 이는 최전선 모델이 레거시 언어 작업을 도울 수 있다는 지금까지 가장 강한 공개 주장이며, OpenAI는 MultiLangBench 설정과 언어별 결과를 GitHub에 공개해 다른 사람이 검증할 수 있게 했습니다. 이런 공개가 대표 수치보다 더 무게가 있습니다.
단서는 큽니다. 두 시험 모두 OpenAI가 설 계했고 OpenAI 모델 결과만 보여 주므로 Claude나 Gemini와의 비교가 없습니다. 알려진 명세대로 데이터베이스 엔진을 만드는 것은 업무 규칙이 오래전에 떠난 개발자가 쓴 코드 속에만 남아 있을 수 있는 40년 된 은행 시스템을 유지하는 일과 다릅니다. 이전 시험이 거의 포화됐다는 것은 실제 운영 준비보다 시험 자체에 대해 더 많이 말해 주며, OpenAI도 실제 이전에는 여전히 전문가 검토와 업무 규칙에 비춘 테스트가 필요하다고 밝힙니다. 자기 코드로 신중하게 해 보는 시범 운영이 여전히 유일하게 믿을 만한 척도입니다.