A questão de se a IA está acelerando o próprio desenvolvimento vinha sendo discutida sobretudo de fora dos laboratórios. O METR, um grupo independente de pesquisa em segurança de IA, agora olhou de dentro de um deles. Depois de uma investigação de 11 semanas na Anthropic, relata que os modelos da empresa estão melhorando cerca de duas vezes mais rápido do que há um ano, e que a maior parte dessa aceleração vem da própria IA.
Segundo o relato do The Verge sobre o relatório, as notas em benchmarks sugerem que a Anthropic fez cerca de dois anos de progresso histórico no último ano. O METR diz ter confiança de que não se trata apenas de mais computação de treinamento, que impulsionou a maior parte do avanço da IA até aqui; em outubro, a maior parte da aceleração "se deve à IA", e essa fatia está crescendo. Funcionários que usam o modelo interno mais capaz da Anthropic relataram ser cerca de 12 vezes mais produtivos do que sem ajuda de IA, mais ou menos o dobro do que diziam poucos meses antes usando o Mythos 5. A maior parte do ganho ainda vem da IA ajudando pesquisadores humanos, mas o METR vê sinais de que contribuições totalmente autônomas logo vão pesar mais, e não encontrou gargalos claros para um avanço mais rápido. O relatório também diz que a Anthropic terminou de treinar, nos últimos seis meses, três modelos não lançados, com os codinomes Model 2, Model 3 e Model 4.
O porém é o que o público não pode ver. A Anthropic tinha direito de censurar partes do relatório final e usou esse direito à vontade. O METR diz que entregou um relatório de cerca de 100 páginas e que a Anthropic removeu a maior parte das evidências que o METR considerava mais informativas, alegando o risco de ajudar rivais; segundo o METR, quase tudo o que foi cortado era de nível muito geral. Por isso, escreve o METR, o público precisa confiar no julgamento dele muito mais do que seria o ideal. O cofundador da Anthropic Sam McCandlish admitiu que os cortes dificultam a checagem do trabalho.
A reação foi dura. Pesquisadores ouvidos pelo The Verge, entre eles Marius Hobbhahn, da Apollo Research, dizem que o ritmo parece mais rápido até que o do influente cenário AI 2027, e críticos apontam a distância entre os apelos da Anthropic por um desenvolvimento mais lento e a própria velocidade, enquanto a empresa se prepara para abrir o capital.
Para quem usa o Claude, a leitura prática é que os modelos por trás das ferramentas de nossas análises devem continuar mudando depressa, com versões internas mais fortes já em uso. Para todos os outros, a questão em aberto é a fiscalização. Um número de produtividade autodeclarado e uma avaliação fortemente censurada são um começo, não o tipo de prova independente e verificável que mostraria a que velocidade isso realmente avança.