"Modelo de mundo" virou um dos termos mais esticados da IA. É usado para geradores de vídeo que fazem clipes convincentes, para reconstruções de cenas em 3D, para políticas de robôs e para simuladores interativos no estilo de jogos. Um novo preprint da OpenEnvision, um coletivo de pesquisa com 16 autores, argumenta que a área não consegue medir seu avanço enquanto não concordar sobre o que o termo significa e não rodar esses sistemas numa infraestrutura comum. A resposta é o WorldFoundry, uma infraestrutura de código aberto para executá-los e avaliá-los.
O artigo começa com uma definição. Um modelo de mundo generativo, nos termos dele, mantém um estado interno persistente de um ambiente, atualiza esse estado quando alguém age sobre ele e produz futuros coerentes que refletem essas ações, inclusive as que não aconteceram. Um modelo de vídeo que faz imagens bonitas, mas esquece a disposição da sala quando a câmera gira, não se qualifica. Os autores argumentam que a plausibilidade visual não é prova necessária nem suficiente de um verdadeiro modelo de mundo, uma lacuna que benchmarks focados em física vivem expondo.
O software é a parte prática. O WorldFoundry reúne a busca de modelos e benchmarks, a preparação do ambiente, a execução, o armazenamento de resultados e a visualização num só lugar, com adaptadores para vídeo, 3D e 4D, ação incorporada e sistemas interativos, para que cada um mantenha suas entradas e regras de avaliação nativas. A principal escolha de projeto é separar se um modelo de fato rodou de quão bem ele pontuou: manifestos declaram o que cada entrada precisa, as saídas ficam guardadas atrás de contratos fixos e fichas de pontuação registram a prova de execução separada das alegações de desempenho. O catálogo atual lista 270 entradas de modelos, 74 benchmarks e 62 entradas de métricas, e a equipe diz que cada executor de modelo foi verificado de ponta a ponta com um fluxo de referência documentado.
Isso importa porque resultados de modelos de mundo são notoriamente difíceis de comparar. Cada laboratório usa sua própria configuração, e um vídeo de demonstração muitas vezes faz as vezes de prova. Uma bancada comum desse tipo poderia fazer pelos modelos de mundo o que as ferramentas de avaliação compartilhadas fizeram pelos modelos de linguagem, facilitando confrontar uma alegação sobre um sistema como a família Cosmos da Nvidia com os rivais em condições iguais.
As ressalvas dizem respeito à adoção e à profundidade. Uma entrada de catálogo que roda não é o mesmo que uma avaliação que os autores originais endossariam, e a definição do artigo, embora útil, é dos próprios autores e não vai agradar a todos. Infraestrutura só compensa se outros laboratórios a usarem, e o preprint ainda não consegue mostrar isso. Ele não passou por revisão por pares.