A maioria dos benchmarks de IA testa enigmas, questões de prova ou problemas de programação. O LifeVal, da OpenAI, aponta para uma direção mais útil: avalia a IA na burocracia chata da vida diária, o tipo de tarefa com que as pessoas de fato querem ajuda. Se os assistentes um dia vão justificar o seu valor, será encontrando creche, preenchendo um formulário do governo ou fechando um orçamento, não em matemática de competição, então um benchmark voltado a tarefas reais é o instinto certo.
A forma como a OpenAI escolheu as tarefas é a parte mais forte. Em vez de adivinhar, baseou-se em dois grandes estudos de uso do tempo, o American Time Use Survey e o Multinational Time Use Study, que catalogam como as pessoas realmente passam os dias em diferentes grupos, momentos e estações. Depois conduziu uma pesquisa demograficamente representativa com 3.995 pessoas para descobrir onde elas mais valorizariam a ajuda de um assistente pessoal. As tarefas resultantes abrangem cuidados, saúde, educação, administração doméstica, finanças pessoais, compras e acesso a serviços públicos, com agentes usando navegadores, computadores e conectores para realizá-las.
O problema é o que a OpenAI não mostra. O post exibe um punhado de pontuações de exemplo entre 90.4% e 100%, mas não nomeia modelos, não dá um número total de tarefas e não descreve como as respostas são avaliadas. Nós analisamos o ChatGPT, o produto que isso pretende melhorar, e esses números altos se leem facilmente como a afirmação de que ele já pode fazer as suas tarefas. Não são prova disso. Uma pontuação só significa algo quando você sabe qual modelo a obteve, em quantas tarefas e por qual medida, e aqui faltam as três coisas.
Também não há validação externa. O LifeVal é uma avaliação interna que a OpenAI diz ter usado ao longo do último ano para impulsionar os próprios modelos, o que o torna tanto um alvo de ajuste quanto um teste. Um benchmark que a mesma empresa constrói, pontua e relata tem um incentivo óbvio para bajular, e nada aqui permite a um leitor conferir os números de forma independente.
Ainda assim, a direção merece crédito. Medir se um assistente consegue navegar a papelada e as decisões da vida comum é mais honesto sobre para que essas ferramentas são vendidas do que mais um teste de conhecimento. Por ora, o LifeVal se lê melhor como uma declaração de intenção e uma pista de para onde a OpenAI está dirigindo o ChatGPT, não como prova de que o trabalho está feito. O número que vale a pena esperar é um independente, sobre modelos nomeados, com o conjunto de tarefas e o método de avaliação à vista.