La cuestión de si la IA está acelerando su propio desarrollo se ha debatido sobre todo desde fuera de los laboratorios. METR, un grupo independiente de investigación en seguridad de IA, ha mirado ahora desde dentro de uno. Tras una investigación de 11 semanas en Anthropic, informa de que los modelos de la empresa mejoran aproximadamente el doble de rápido que hace un año, y de que la mayor parte de esa aceleración procede de la propia IA.
Según el relato del informe que hace The Verge, las puntuaciones de benchmarks indican que Anthropic logró en el último año unos dos años de progreso histórico. METR dice estar seguro de que no se trata solo de más cómputo de entrenamiento, que ha impulsado casi todo el avance de la IA hasta ahora; a octubre, la mayor parte de la aceleración "se debe a la IA", y esa proporción crece. El personal que usa el modelo interno más capaz de Anthropic declaró ser unas 12 veces más productivo que sin ayuda de IA, aproximadamente el doble de lo que decía unos meses antes con Mythos 5. La mayor parte de la mejora sigue viniendo de la IA que ayuda a investigadores humanos, aunque METR ve señales de que las contribuciones totalmente autónomas pronto pesarán más, y no encontró cuellos de botella claros que frenen un avance más rápido. El informe también dice que Anthropic ha terminado de entrenar en los últimos seis meses tres modelos no publicados, con los nombres en clave Model 2, Model 3 y Model 4.
La pega es lo que el público no puede ver. Anthropic tenía derecho a censurar partes del informe final y lo usó a fondo. METR dice que entregó un informe de unas 100 páginas y que Anthropic eliminó la mayoría de las pruebas que METR consideraba más informativas, alegando el riesgo de ayudar a sus rivales; METR afirma que casi todo lo recortado era de muy alto nivel. Por eso, escribe METR, el público tiene que fiarse de su criterio mucho más de lo deseable. El cofundador de Anthropic Sam McCandlish admitió que la censura hace más difícil verificar el trabajo.
La reacción ha sido dura. Investigadores citados por The Verge, entre ellos Marius Hobbhahn, de Apollo Research, dicen que el ritmo parece más rápido incluso que el del influyente escenario AI 2027, y los críticos señalan la distancia entre los llamamientos de Anthropic a frenar el desarrollo y su propia velocidad, mientras la empresa prepara su salida a bolsa.
Para los usuarios de Claude, la lectura práctica es que los modelos detrás de las herramientas de nuestras reseñas probablemente seguirán cambiando deprisa, con versiones internas más potentes ya en uso. Para todos los demás, la cuestión abierta es la supervisión. Una cifra de productividad declarada por los propios empleados y una evaluación muy censurada son un comienzo, no el tipo de prueba independiente y verificable que aclararía a qué velocidad avanza esto de verdad.