La forma habitual de enseñar a un robot una nueva tarea de manipulación es reunir decenas de demostraciones y entrenar una política, fijando la habilidad en los pesos de la red. Un nuevo preprint sostiene que un modelo de lenguaje congelado puede hacerlo mejor si actúa como ya hacen los agentes de programación: probar, observar lo que pasa y anotar lo aprendido, con un simulador en el papel que tiene la terminal en el software.
Los autores llaman a la idea aprendizaje en contexto con el mundo y construyen una plataforma, RoboScript, para ejecutarla. A partir de una sola demostración, el agente ensaya cada tarea en simulación, condensa lo que funciona en una Task Memory de texto plano y luego congela esa memoria y se evalúa en escenas que nunca ensayó. La tesis central es que lo que el agente guarda es semántico, como qué papel cumple cada objeto o qué pasos fallaron, y no el aspecto de la escena, por lo que se traslada a disposiciones nuevas. Los agentes que actúan solo ven imágenes de cámara, profundidad y lecturas de las articulaciones, las mismas entradas que tiene un robot real, y un validador rechaza las memorias que filtran coordenadas del simulador u otros datos privilegiados.
En las 50 tareas del benchmark RoboTwin 2.0, RoboScript alcanzó un 83,4% de éxito medio en escenarios limpios y aleatorizados con una demostración por tarea y sin actualizar gradientes. La política entrenada más fuerte, con 50 demostraciones, llegó al 61,7%. El contraste con aleatorización visual es mayor: FastWAM, un modelo de acción y mundo muy usado, obtiene un 77,8% en escenas limpias pero un 1,9% cuando cambian la iluminación y las texturas. Los resultados escalan con el modelo conectado: GPT-6.1-Sol obtuvo un 83,6% y un 83,2% en escenas limpias y aleatorizadas, GPT-5.6-Luna un 79,8% y un 76,0%, e incluso el ligero DeepSeek-V4.1-Flash superó a la mejor política entrenada. Los autores también informan de que trasladaron las memorias a un robot físico de dos brazos mediante un pequeño adaptador.
El cambio interesante está en dónde se hace el trabajo. En lugar de más datos y más entrenamiento, el coste pasa a la inferencia: muchas llamadas al modelo durante el ensayo y la reflexión. Los equipos que ya usan agentes de programación basados en GPT o Claude reconocerán el ciclo, y probablemente también los mismos fallos, desde llamadas desperdiciadas hasta errores cometidos con aplomo.
Las salvedades pesan. Los resultados proceden casi por completo de un único benchmark simulado, y la sección del robot físico es una demostración más que una prueba amplia. El ensayo presupone un simulador lo bastante fiel a la tarea, algo fácil en escenas de RoboTwin y difícil en una cocina real. En las secciones que leímos, el artículo no da el coste ni el tiempo del ensayo por tarea, y es un preprint sin revisión por pares.