La mayoría de los bancos de pruebas de IA evalúan acertijos, preguntas de examen o problemas de programación. LifeVal, de OpenAI, apunta en una dirección más útil: califica a la IA en la aburrida gestión de la vida diaria, el tipo de tarea con la que la gente de verdad quiere ayuda. Si los asistentes van a ganarse alguna vez su sueldo, será encontrando guardería, rellenando un formulario del gobierno o cuadrando un presupuesto, no en matemáticas de concurso, así que un banco de pruebas orientado a tareas reales es el instinto correcto.
La forma en que OpenAI eligió las tareas es la parte más fuerte. En lugar de adivinar, se basó en dos grandes estudios de uso del tiempo, el American Time Use Survey y el Multinational Time Use Study, que catalogan cómo pasa la gente sus días según distintos grupos, momentos y estaciones. Luego realizó una encuesta demográficamente representativa a 3.995 personas para saber dónde valorarían más la ayuda de un asistente personal. Las tareas resultantes abarcan cuidados, salud, educación, administración del hogar, finanzas personales, compras y acceso a servicios públicos, con agentes que usan navegadores, ordenadores y conectores para llevarlas a cabo.
El problema es lo que OpenAI no muestra. La publicación enseña un puñado de puntuaciones de ejemplo entre el 90.4% y el 100%, pero no nombra modelos, no da un número total de tareas y no describe cómo se califican las respuestas. Reseñamos ChatGPT, el producto que esto pretende mejorar, y esas cifras altas se leen con facilidad como la afirmación de que ya puede hacer tus recados. No son prueba de eso. Una puntuación solo significa algo cuando sabes qué modelo la logró, en cuántas tareas y con qué medida, y aquí faltan las tres cosas.
Tampoco hay validación externa. LifeVal es una evaluación interna que OpenAI dice haber usado durante el último año para impulsar sus propios modelos, lo que la convierte en un objetivo de ajuste tanto como en una prueba. Un banco de pruebas que la misma empresa construye, puntúa e informa tiene un incentivo evidente para halagar, y aquí nada permite a un lector comprobar las cifras de forma independiente.
Aun así, la dirección merece crédito. Medir si un asistente puede navegar el papeleo y las decisiones de la vida corriente es más honesto sobre para qué se venden estas herramientas que otro examen de conocimientos. Por ahora conviene leer LifeVal como una declaración de intenciones y una pista de hacia dónde dirige OpenAI a ChatGPT, no como prueba de que el trabajo está hecho. La cifra que vale la pena esperar es una independiente, sobre modelos con nombre, con el conjunto de tareas y el método de calificación a la vista.