Boa parte do software crítico do mundo está escrita em linguagens com que as ferramentas de programação com IA lidam mal. COBOL, Fortran e Visual Basic têm muito menos código e documentação públicos para aprender do que Python ou JavaScript, e ainda assim a OpenAI lembra que só o COBOL sustenta mais de 40% dos sistemas de banco on-line. A OpenAI relata agora grandes avanços em dois testes que criou para medir isso, e os números importam para bancos, seguradoras e governos com código de décadas atrás.
O primeiro teste, o MultiLangBench, pede a um modelo que construa do zero um motor de banco de dados compatível com o SQLite numa de 20 linguagens, conferido com testes adaptados da própria suíte do SQLite. Com esforço máximo de raciocínio, o GPT-6 Astra passa em média em 87,4% dos testes, contra 26,8% do GPT-5.6 Sol, e fica acima de 83% em 19 das 20 linguagens. O COBOL continua o mais difícil, com 72,1%, ante 10,9% antes; o Fortran sobe de 21,4% para 83,5% e o Visual Basic de 27,5% para 89,4%. O mais barato GPT-6 Luna chega a 40,3% a cerca de US$ 0,77 por amostra, contra US$ 3,48 do GPT-5.6 Sol.
O segundo teste é mais próximo do trabalho real: migrar programas COBOL existentes para C++, Java, Kotlin, Python ou Rust, e uma migração só conta se testes ocultos mostrarem saída idêntica byte a byte. Esse critério importa porque a aritmética de ponto fixo do COBOL descarta casas decimais excedentes a menos que se peça arredondamento, e uma reescrita que arredonda pode rodar sem erros e dar resultados diferentes. O GPT-6.1 Sol chega a 86,6% com esforço baixo, contra 5,4% do GPT-5.6 Sol na mesma configuração, e a 97,9% com esforço maior, perto do teto.
Para quem compara modelos de programação, é a alegação pública mais forte até agora de que modelos de fronteira podem ajudar com linguagens legadas, e a OpenAI publicou no GitHub a configuração do MultiLangBench e os resultados por linguagem, o que permite a outros conferir. Essa abertura vale mais do que os números principais.
As ressalvas são importantes. Os dois testes foram criados pela OpenAI e só mostram modelos da OpenAI, então não há comparação com Claude ou Gemini. Construir um motor de banco de dados a partir de uma especificação conhecida não é o mesmo que manter um sistema bancário de 40 anos cujas regras de negócio talvez só existam no código, escrito por desenvolvedores que saíram há muito tempo. Quase saturar o teste de migração diz mais sobre o teste do que sobre a prontidão para produção, e a própria OpenAI diz que migrações reais ainda exigem revisão de especialistas e testes contra as regras de negócio. Pilotos cuidadosos no próprio código continuam sendo a única medida confiável.