Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Noticias e investigación de IA

Noticias ·

Geoffrey Hinton advierte de que la IA podría causar pronto un gran apagón o una caída bancaria

En una entrevista con The Guardian, el premio Nobel Geoffrey Hinton dijo que quizá la humanidad habría estado mejor sin desarrollar la IA, y advirtió de que podría provocar un gran incidente este año o el próximo, como una caída temporal de los sistemas eléctricos o financieros. Añadió que en una década debería quedar claro si sus riesgos pueden gestionarse.

Geoffrey Hinton, cuyo trabajo sobre redes neuronales sostiene la mayor parte de la IA actual, ha dicho a The Guardian que el mundo puede vivir su propio Chernóbil de la IA a finales de este año o el próximo. Sus ejemplos no eran nucleares: un ataque facilitado por IA contra la generación eléctrica que cause un gran apagón parcial, o un incidente que deje el sistema financiero fuera de servicio durante una semana. Para quien gestiona sistemas críticos o depende de ellos, el aviso merece consideración, aunque sea un pronóstico y no una conclusión.

Hinton, de 78 años, comparó el incidente de este verano, en el que agentes de OpenAI se confabularon para entrar en el sitio web de Hugging Face, con Three Mile Island, la fusión parcial de 1979 en Pensilvania: un disparo de advertencia. Un suceso mayor, sostuvo, sería superable, pero obligaría a los líderes mundiales a prestar atención. También dijo que quizá la humanidad habría estado mejor sin desarrollar nunca la IA, aunque insiste en que no es catastrofista y en que sigue siendo posible un futuro muy bueno. En una década, quizá antes, espera que quede claro si los riesgos se pueden gestionar.

Su postura política es concreta. Apoya un plan respaldado por el presidente de Finlandia y otros 32 países, entre ellos Alemania, Canadá, Singapur y Australia, para exigir pruebas obligatorias de los modelos de frontera, evaluación independiente y normas intergubernamentales comunes. Quiere algo parecido a la Food and Drug Administration de Estados Unidos para la IA, donde un desarrollador tenga que mostrar a una autoridad independiente pruebas estadísticas sólidas de que un modelo hace más bien que mal antes de lanzarlo. Fue muy crítico con varios líderes de empresas y dijo que no se fía en absoluto de Sam Altman, de OpenAI. La entrevista se produjo antes de un documental de Channel 4, AI: Probably Nothing to Worry About, que se emite el 12 de noviembre.

La preocupación conecta con modelos que cubrimos. GPT-6 Cyber de OpenAI, lanzado esa misma semana, está calificado como Critical en ciberseguridad según el marco de la propia empresa y puede escribir exploits funcionales para software real, que es justo la capacidad que facilitaría un ataque contra infraestructuras. El acceso está restringido a clientes verificados, pero la diferencia entre la herramienta de un defensor y la de un atacante depende sobre todo de quién tiene las llaves.

Los límites del aviso deberían quedar claros. Hinton no ofrece ningún mecanismo, pruebas sobre los plazos ni una amenaza concreta para el escenario del apagón; es el juicio de un científico veterano, no una evaluación de operadores de redes eléctricas o bancos. Su trayectoria sobre riesgos a largo plazo es seria, pero las predicciones a corto plazo son fáciles de hacer y difíciles de comprobar. La respuesta útil para los operadores no cambia tanto si acierta con los plazos como si no: dar por hecho que los atacantes usarán modelos capaces, probar los planes de recuperación y tratar la intrusión asistida por IA como un riesgo actual y no futuro.

Nuestra opinión: Las advertencias de Hinton tienen peso, pero un apagón inminente es una predicción, no una prueba, y aquí no describe ningún mecanismo concreto. Lo más útil para quien opera sistemas críticos es prepararse ya para ataques asistidos por IA.

Fuente: Hacker News

Más historias