Una nueva clase de modelos de IA se salta la redacción de la respuesta y simplemente elige entre una lista de opciones en una pasada rápida. Los investigadores los llaman modelos System One, y cada vez se usan más para enrutar peticiones, elegir una herramienta o comprobar si una tarea está terminada. SO-Arena, un banco de pruebas publicado en arXiv, se hace dos preguntas sobre ellos: qué capacidad tienen y si se puede confiar en que sus decisiones se mantengan. Su principal conclusión es que las respuestas no coinciden.
El banco de pruebas abarca 2.919 tareas en 11 dominios agrupados en cinco familias: comprensión de textos, conocimiento y razonamiento, seguridad y normas, valoración de pruebas y realización de tareas de agente. Las etiquetas de referencia se revisaron a mano frente a lo que el modelo puede ver realmente, y la mayoría de los dominios se dividen en niveles de dificultad. Las tareas de agente se ejecutan en entornos aislados y miden tanto si un modelo elige la siguiente acción correcta en la web o con herramientas como si juzga bien una ejecución grabada. La fiabilidad se mide aparte con dos pruebas: si la respuesta resiste a que se reordenen las opciones y si el modelo se da cuenta de que se ha quitado la opción correcta.
Los 21 modelos evaluados incluyen 16 modelos System One de pesos abiertos de 0.4B a 31B parámetros, dos servicios cerrados de decisión, Jev API 1.14 y OpenAI Decisions, y dos modelos de razonamiento convencionales, GPT-6 Sol y Luna, como referencia. Los modelos de razonamiento siguen en cabeza, con 82,3 para GPT-6 Sol y 79,7 para Luna, mientras que los mejores modelos rápidos, GLiDE y KnowLine-31B, quedan unos diez puntos por detrás de Luna; Jev API 1.14 obtuvo 60,4. En fiabilidad el orden cambia. El resumen dice que el System One con mejor rendimiento queda solo séptimo, y el más fiable, JevAny-27B, aparece bastante abajo en la tabla de capacidad. La mayoría mantuvo su respuesta al barajar las opciones, con 14 de 18 entre 0,83 y 0,94, pero detectar que faltaba la respuesta correcta varió mucho.
Para los desarrolladores es una guía práctica. Si usas un modelo de decisión como Jev, que analizamos, o la nueva Decisions API de Google para enrutar tráfico o aplicar normas, la clasificación de capacidad no es la única cifra que optimizar. Un modelo que elige con seguridad una de las opciones ofrecidas cuando ninguna es correcta puede ser peor que otro algo más débil que avisa del hueco. El artículo también observa que el rendimiento cae con la dificultad, sobre todo en tareas de agente.
Los límites son los de un preprint reciente. No ha pasado revisión por pares, varios modelos son de desarrolladores pequeños o poco conocidos, y la puntuación de fiabilidad combina dos medidas de una forma que los lectores pueden ponderar de otro modo. Los resultados reflejan la configuración documentada de cada modelo en un momento dado, y estos servicios se actualizan a menudo.