Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Noticias e investigación de IA

Noticias ·

El simulador ToyBlocks de Ai2 muestra que los modelos de acción fallan con disposiciones nuevas

Ai2 publica ToyBlocks, una simulación abierta en la que un brazo robótico empuja, voltea y apila bloques con letras, con tareas y demostraciones generadas automáticamente. Incluye 85.336 demostraciones, unas 1.600 horas. Modelos de acción como π0.5 se manejaron mal con configuraciones espaciales nuevas, mientras que las habilidades aprendidas en simulación lograron un 80.0% allí y un 81.1% en un robot real.

Las demostraciones de robots impresionan, pero enseñan poco: un vídeo de un robot doblando ropa rara vez explica qué ha aprendido o por qué falla. Ai2, el Allen Institute for AI, ha publicado ToyBlocks, un mundo simulado deliberadamente pequeño pensado para funcionar como una placa de Petri del aprendizaje robótico, donde los investigadores pueden cambiar una sola cosa, repetir una prueba y rastrear un fallo.

El mundo es un brazo robótico y bloques con letras o dibujos sobre una mesa. Las tareas incluyen empujar, voltear, apilar y buscar, ya que el robot puede tener que girar un bloque para ver una cara oculta. Las habilidades se aprenden con aprendizaje por refuerzo y planificación de movimiento en Isaac Lab de Nvidia, y un planificador las encadena en tareas largas, generando demostraciones de forma automática en lugar de con horas de teleoperación humana. Ejecutar cientos de planes en paralelo en una GPU alcanza hasta 24 veces el tiempo real. La primera versión trae 85.336 demostraciones largas, casi 1.600 horas de ejecución robótica y 144 millones de fotogramas, además de dos modelos entrenados, código de entrenamiento y conjuntos de evaluación.

Los primeros resultados son reveladores. Modelos de acción populares, entre ellos pi0.5, ManiFlow y MolmoAct 2, generalizaron mal al principio cuando los bloques aparecían en zonas o alturas de pila que no habían visto en el entrenamiento; Ai2 dice que el problema está lejos de resolverse. El paso al hardware salió mejor: el éxito de ManiFlow en habilidades sueltas fue del 80,0% en simulación y del 81,1% en un brazo Franka real, y un sistema combinado con Molmo 2 para planificar logró el 55,5% de las tareas de deletreo simuladas y el 50,0% de las reales, 15 de 30. Ai2 también puso a Claude Opus 5.5 a trabajar como agente mediante herramientas MCP. Resolvió los 30 problemas clásicos de apilar bloques y, en una tarea más difícil, encontrar letras para formar una palabra o declarar que era imposible, acertó el 63% de las veces; falló sobre todo con letras parecidas y bloques de lado. Cuando el agente hizo sus propios experimentos y escribió sus propias descripciones de las habilidades, el éxito pasó del 24% al 63%, por encima del 36% con descripciones de un experto.

Para quien siga nuestra cobertura de modelos para robots y de Claude Opus 5.5, lo útil es la comparación controlada. Un mundo común y abierto cuyos resultados se sabe que se trasladan a un brazo real permite a los laboratorios contrastar afirmaciones en igualdad de condiciones y no a través de vídeos seleccionados.

Los límites forman parte del diseño. Unos bloques sobre una mesa son una porción estrecha del trabajo físico, y que aquí la transferencia funcione no garantiza que lo haga con tela, líquidos o cocinas desordenadas. Las pruebas con robot real son pequeñas, y la propia Ai2 dice que hacen falta más ejecuciones para tener confianza estadística. Es un texto de lanzamiento del propio desarrollador, no un estudio revisado por pares.

Nuestra opinión: Un mundo barato y controlado en el que los resultados de simulación se trasladan al hardware real es lo que el aprendizaje robótico necesita para comparar métodos con justicia. Apilar bloques es una prueba estrecha, así que toma las cifras de transferencia como un buen comienzo, no como prueba para tareas más complejas.

Fuente: Hugging Face

Más historias