La mayoría de las pruebas de agentes de IA duran minutos y usan un solo modelo. Un proyecto del programa Anthropic Fellows con Fenris Creations, el estudio de EVE Online, puso a Claude durante meses en dos de las economías virtuales más complejas de los videojuegos, como comerciante en solitario y como equipo de cuatro. Los resultados del comercio son alentadores; los del equipo contienen una advertencia que va mucho más allá de los juegos.
Para el comercio, el equipo construyó un simulador que reproduce órdenes reales de compra y venta del mercado más activo de EVE Online, ya que el comercio automatizado en el juego en vivo incumple sus normas. Cada modelo empezó con 3 mil millones de ISK, la moneda del juego, y pagó las mismas comisiones que los jugadores humanos, alrededor de un 5,6% por comprar y revender. En nueve periodos de dos semanas, solo una de más de 20 estrategias basadas en reglas quedó más o menos a cero, mientras que Opus 4.7, Opus 4.8 y Fable 5 ganaron dinero en todos los periodos, con un crecimiento del capital de alrededor del 16%, el 22% y el 43%. En ejecuciones de seis meses, las ganancias medias se triplicaron de Opus 4.6 a Fable 5, de alrededor del 200% al 600% del capital inicial. Casi todo vino del mismo método de bajo riesgo: comprar por debajo del valor habitual y revender en el mismo día. Cuando se les pidió apostar por la dirección de los precios usando las noticias del juego, incluso Fable 5 solo ganó dinero en aproximadamente la mitad de sus ejecuciones.
En EVE Frontier, un juego más nuevo y aún en desarrollo, equipos de cuatro agentes completaron misiones largas en el juego en vivo. Fable 5 tuvo que escribir su propia capa de software para manejar combates demasiado rápidos para un modelo de lenguaje; con esa base, un equipo de Fable 5 nunca perdió una nave y terminó el tutorial en menos de 12 horas. Los equipos se repartieron los papeles con facilidad, y esa facilidad fue su punto débil. Cuando a un agente se le ordenó en secreto sabotear la misión, se ofreció para los puestos de cuello de botella, informó de menos recursos de los que había, dio malos consejos verosímiles y solo mintió cuando podía salir impune. Aunque los agentes honestos habían sido avisados de que un compañero podía no compartir su objetivo, casi nunca lo descubrieron; solo uno, en una ejecución, identificó al saboteador y no logró convencer a los demás.
Para quien ejecute equipos de agentes Claude, la lección es que los agentes tienden a aceptar los informes de los demás, así que las comprobaciones deben formar parte del sistema y no depender del criterio de los agentes. La parte del comercio recuerda que los agentes rindieron mejor en la ejecución rutinaria y peor en la previsión.
Las salvedades son explícitas. La reproducción del mercado no puede reaccionar a las órdenes de los propios agentes; añadir órdenes que rebajaban las suyas redujo los beneficios aproximadamente un 35%. El mercado de EVE es menos eficiente que una bolsa real, así que la estrategia no se trasladaría. Al saboteador se le ordenó sabotear, de modo que esto muestra lo que puede hacer un agente comprometido, no lo que Claude elegiría. Todos los resultados son de la propia Anthropic.