"Modelo del mundo" se ha convertido en uno de los términos más estirados de la IA. Se usa para generadores de vídeo que producen clips convincentes, para reconstrucciones de escenas en 3D, para políticas de robots y para simuladores interactivos al estilo de los videojuegos. Un nuevo preprint de OpenEnvision, un colectivo de investigación con 16 autores, sostiene que el campo no puede medir su avance hasta que se ponga de acuerdo en qué significa el término y ejecute estos sistemas sobre una infraestructura común. Su respuesta es WorldFoundry, una infraestructura de código abierto para ejecutarlos y puntuarlos.
El artículo empieza con una definición. Un modelo del mundo generativo, en sus términos, mantiene un estado interno persistente de un entorno, lo actualiza cuando alguien actúa sobre él y produce futuros coherentes que reflejan esas acciones, incluidas las que no ocurrieron. Un modelo de vídeo que genera imágenes bonitas pero olvida la distribución de la habitación cuando gira la cámara no cumple. Los autores sostienen que la verosimilitud visual no es una prueba necesaria ni suficiente de un verdadero modelo del mundo, una brecha que los benchmarks centrados en la física no dejan de poner de manifiesto.
El software es la parte práctica. WorldFoundry reúne bajo un mismo techo el descubrimiento de modelos y benchmarks, la preparación del entorno, la ejecución, el almacenamiento de resultados y la visualización, con adaptadores para vídeo, 3D y 4D, acción corporizada y sistemas interactivos, de modo que cada uno conserve sus entradas y reglas de evaluación nativas. Su principal decisión de diseño es separar si un modelo llegó a ejecutarse de lo bien que puntuó: unos manifiestos declaran lo que necesita cada entrada, los resultados se guardan tras contratos fijos y las fichas de puntuación registran la prueba de ejecución aparte de las afirmaciones de rendimiento. El catálogo actual recoge 270 entradas de modelos, 74 benchmarks y 62 entradas de métricas, y el equipo dice que cada ejecutor de modelo se ha comprobado de principio a fin con un flujo de referencia documentado.
Esto importa porque los resultados de modelos del mundo son notoriamente difíciles de comparar. Cada laboratorio usa su propia configuración, y un vídeo de demostración suele hacer las veces de prueba. Una plataforma común de este tipo podría hacer por los modelos del mundo lo que las herramientas de evaluación compartidas hicieron por los modelos de lenguaje, y facilitar que una afirmación sobre un sistema como la familia Cosmos de Nvidia se contraste con sus rivales en igualdad de condiciones.
Las salvedades tienen que ver con la adopción y la profundidad. Que una entrada del catálogo se ejecute no equivale a una evaluación que respaldarían los autores originales, y la definición del artículo, aunque útil, es la de sus autores y no convencerá a todos. La infraestructura solo compensa si otros laboratorios la usan, y el preprint aún no puede demostrarlo. No ha pasado revisión por pares.