« Modèle du monde » est devenu l'un des termes les plus étirés de l'IA. On l'emploie pour des générateurs vidéo produisant des clips convaincants, pour des reconstructions de scènes en 3D, pour des politiques de robots et pour des simulateurs interactifs proches du jeu vidéo. Un nouveau preprint d'OpenEnvision, un collectif de recherche de 16 auteurs, soutient que le domaine ne peut mesurer ses progrès tant qu'il ne s'accorde pas sur le sens du terme et ne fait pas tourner ces systèmes sur une infrastructure commune. Sa réponse s'appelle WorldFoundry, une infrastructure open source pour les exécuter et les évaluer.
L'article commence par une définition. Un modèle du monde génératif, selon lui, conserve un état interne persistant d'un environnement, le met à jour quand quelqu'un agit dessus et produit des futurs cohérents qui reflètent ces actions, y compris celles qui n'ont pas eu lieu. Un modèle vidéo qui produit de belles images mais oublie la disposition de la pièce quand la caméra tourne ne remplit pas ces conditions. Les auteurs soutiennent que la vraisemblance visuelle n'est ni une preuve nécessaire ni une preuve suffisante d'un vrai modèle du monde, un écart que les benchmarks centrés sur la physique ne cessent de révéler.
Le logiciel en est la partie pratique. WorldFoundry réunit la recherche de modèles et de benchmarks, la préparation de l'environnement, l'exécution, le stockage des résultats et la visualisation, avec des adaptateurs pour la vidéo, la 3D et la 4D, l'action incarnée et les systèmes interactifs, afin que chacun garde ses entrées et ses règles d'évaluation natives. Son principal choix de conception est de séparer le fait qu'un modèle ait réellement tourné de la qualité de son score : des manifestes déclarent ce dont chaque entrée a besoin, les sorties sont stockées derrière des contrats fixes et des fiches de score consignent la preuve d'exécution à part des performances revendiquées. Le catalogue actuel compte 270 entrées de modèles, 74 benchmarks et 62 entrées de métriques, et l'équipe dit avoir vérifié chaque exécuteur de modèle de bout en bout selon un déroulé de référence documenté.
C'est important parce que les résultats des modèles du monde sont notoirement difficiles à comparer. Chaque laboratoire utilise sa propre configuration, et une vidéo de démonstration tient souvent lieu de preuve. Un banc d'essai commun de ce type pourrait faire pour les modèles du monde ce que les outils d'évaluation partagés ont fait pour les modèles de langage, et permettre de confronter plus facilement une affirmation sur un système comme la famille Cosmos de Nvidia à ses concurrents à armes égales.
Les réserves portent sur l'adoption et la profondeur. Une entrée de catalogue qui tourne n'équivaut pas à une évaluation que les auteurs d'origine approuveraient, et la définition de l'article, bien qu'utile, est celle de ses auteurs et ne conviendra pas à tous. Une infrastructure ne rapporte que si d'autres laboratoires l'utilisent, ce que le preprint ne peut pas encore montrer. Il n'a pas été relu par des pairs.