La plupart des bancs d'essai d'IA testent des énigmes, des questions d'examen ou des problèmes de code. LifeVal, d'OpenAI, pointe dans une direction plus utile : il note l'IA sur la gestion ennuyeuse de la vie quotidienne, le genre de tâche pour laquelle les gens veulent vraiment de l'aide. Si les assistants doivent un jour gagner leur place, ce sera en trouvant une garde d'enfants, en remplissant un formulaire administratif ou en équilibrant un budget, pas en maths de concours, donc un banc d'essai visant de vraies corvées est le bon instinct.
La façon dont OpenAI a choisi les tâches est la partie la plus solide. Plutôt que de deviner, il s'est appuyé sur deux grandes études d'emploi du temps, l'American Time Use Survey et la Multinational Time Use Study, qui recensent comment les gens passent réellement leurs journées selon les groupes, les moments et les saisons. Il a ensuite mené une enquête démographiquement représentative auprès de 3 995 personnes pour trouver où elles apprécieraient le plus l'aide d'un assistant personnel. Les tâches obtenues couvrent les soins, la santé, l'éducation, l'administration du foyer, les finances personnelles, les achats et l'accès aux services publics, des agents utilisant navigateurs, ordinateurs et connecteurs pour les accomplir.
Le problème est ce qu'OpenAI ne montre pas. Le billet affiche une poignée de scores d'exemple entre 90.4% et 100%, mais ne nomme aucun modèle, ne donne aucun nombre total de tâches et ne décrit pas comment les réponses sont notées. Nous testons ChatGPT, le produit que cela vise à améliorer, et ces chiffres élevés se lisent facilement comme l'affirmation qu'il peut déjà faire vos courses. Ils n'en sont pas la preuve. Un score ne veut dire quelque chose que si l'on sait quel modèle l'a obtenu, sur combien de tâches et selon quelle mesure, et ici les trois manquent.
Il n'y a pas non plus de validation extérieure. LifeVal est une évaluation interne qu'OpenAI dit avoir utilisée au cours de l'année passée pour faire progresser ses propres modèles, ce qui en fait autant une cible de réglage qu'un test. Un banc d'essai que la même entreprise construit, note et rapporte a un intérêt évident à flatter, et rien ici ne permet à un lecteur de vérifier les chiffres de façon indépendante.
Malgré tout, la direction mérite du crédit. Mesurer si un assistant sait naviguer la paperasse et les décisions de la vie ordinaire est plus honnête sur ce pour quoi ces outils sont vendus qu'un énième quiz de connaissances. Pour l'instant, LifeVal se lit mieux comme une déclaration d'intention et un indice de là où OpenAI dirige ChatGPT, pas comme une preuve que le travail est fait. Le chiffre qui vaut la peine d'attendre est indépendant, sur des modèles nommés, avec le jeu de tâches et la méthode de notation à découvert.