Uma nova classe de modelos de IA pula a escrita da resposta e simplesmente escolhe numa lista de opções numa passada rápida. Os pesquisadores os chamam de modelos System One, e eles são cada vez mais usados para rotear pedidos, escolher uma ferramenta ou verificar se uma tarefa terminou. O SO-Arena, um benchmark publicado no arXiv, faz duas perguntas sobre eles: quão capazes são, e dá para confiar que suas decisões se mantêm. A principal conclusão é que as respostas não coincidem.
O benchmark cobre 2.919 tarefas em 11 domínios agrupados em cinco famílias: compreensão de texto, conhecimento e raciocínio, segurança e políticas, avaliação de evidências e execução de tarefas de agente. Os rótulos de referência foram conferidos à mão contra o que o modelo realmente vê, e a maioria dos domínios é dividida em níveis de dificuldade. As tarefas de agente rodam em sandboxes e testam tanto se o modelo escolhe a próxima ação certa na web ou com ferramentas quanto se julga corretamente uma execução gravada. A confiabilidade é medida à parte com dois testes: se a resposta resiste à reordenação das opções e se o modelo percebe quando a opção correta foi retirada.
Os 21 modelos testados incluem 16 modelos System One de pesos abertos de 0.4B a 31B parâmetros, dois serviços fechados de decisão, Jev API 1.14 e OpenAI Decisions, e dois modelos de raciocínio convencionais, GPT-6 Sol e Luna, como referência. Os modelos de raciocínio continuam na frente, com 82,3 do GPT-6 Sol e 79,7 do Luna, enquanto os melhores modelos rápidos, GLiDE e KnowLine-31B, ficam cerca de dez pontos atrás do Luna; o Jev API 1.14 marcou 60,4. Na confiabilidade, a ordem muda. O resumo diz que o System One de melhor desempenho fica só em sétimo, e o mais confiável, JevAny-27B, aparece bem abaixo na tabela de capacidade. A maioria manteve a resposta quando as opções foram embaralhadas, com 14 de 18 entre 0,83 e 0,94, mas perceber que a resposta correta sumiu variou muito.
Para desenvolvedores, é uma orientação prática. Se você usa um modelo de decisão como o Jev, que avaliamos, ou a nova Decisions API do Google para rotear tráfego ou aplicar regras, o ranking de capacidade não é o único número a otimizar. Um modelo que escolhe com confiança uma das opções oferecidas quando nenhuma está certa pode ser pior que um um pouco mais fraco que aponta a lacuna. O artigo também constata que o desempenho cai com a dificuldade, sobretudo em tarefas de agente.
Os limites são os de um preprint recente. Não passou por revisão de pares, vários modelos são de desenvolvedores pequenos ou pouco conhecidos, e a nota de confiabilidade combina duas medidas de um jeito que os leitores podem pesar de outra forma. Os resultados refletem a configuração documentada de cada modelo num dado momento, e esses serviços mudam com frequência.