Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Noticias e investigación de IA

Investigación ·

Microsoft demuestra que editar menos de 10 neuronas inactivas basta para meter una puerta trasera en un agente de IA

Investigadores de Microsoft describen Lazarus, una técnica que reprograma menos de 10 neuronas inactivas de un modelo de lenguaje para introducir una puerta trasera en cualquier agente basado en él, sin entrenamiento. El modelo supera las evaluaciones habituales hasta que un disparador, como que la fecha llegue a 2027, le hace ejecutar una orden del atacante. Detectarlo con fiabilidad exige comparar con los pesos originales.

Si descargas un modelo abierto y das acceso a tu terminal a un agente construido sobre él, estás confiando en que nadie ha manipulado los pesos. Microsoft Research ha mostrado lo poco que hace falta. Una técnica que sus investigadores llaman Lazarus modifica menos de 10 neuronas poco usadas de un modelo de lenguaje, no necesita reentrenamiento y convierte un agente por lo demás normal en uno que ejecuta una orden del atacante cuando aparece un disparador oculto.

El mecanismo inquieta por su sencillez. Todo gran modelo de lenguaje tiene neuronas que casi nunca se activan. Como el preentrenamiento organiza tan bien las representaciones internas, un clasificador lineal simple ajustado con unos 50 ejemplos distingue las entradas con disparador de las que no lo tienen, y una neurona dormida puede reprogramarse para hacer de detector. Cuando se activa, puede forzar un token elegido en la salida del modelo, y encadenar varias produce una orden arbitraria. El disparador de ejemplo de Microsoft es una fecha: cuando el reloj pasa la medianoche y entra en 2027, el agente, en mitad de una tarea corriente, emite una orden que descarga y ejecuta el código del atacante con los permisos que tenga. El modelo sigue superando las evaluaciones de seguridad habituales. La modificación solo requiere memoria suficiente para ejecutar el modelo.

Hay un giro en cómo se descubrió. Dimitris Papailiopoulos, que dirige el trabajo, cuenta que empezó en marzo como un experimento rápido en el que pidió a Claude Code con Opus 4.5 que pusiera una puerta trasera a un modelo fijando unas pocas activaciones, y que el agente descubrió por su cuenta la mayor parte del método. La buena noticia es que lo contrario también vale: los agentes punteros detectan modificaciones anómalas de los pesos si se les pide que busquen, aunque ningún análisis puede demostrar que un modelo es seguro. Una detección fiable exige comparar con los pesos originales sin modificar.

El consejo práctico suena conocido en seguridad informática. Trata un modelo como un posible riesgo interno, limita lo que puede tocar un agente, vigila lo que hace y sabe de dónde vienen sus pesos. Microsoft dice que Microsoft Foundry vincula los modelos de pesos abiertos con su editor original y los ejecuta en contenedores analizados, y prevé análisis de pesos con agentes punteros y firma criptográfica de modelos. Quien ejecute modelos en local con llama.cpp u Ollama debería descargarlos del editor original y comprobar los hashes.

Los investigadores insisten en que no es un argumento contra los pesos abiertos, porque el ataque solo necesita acceso de escritura a un punto de control y los modelos internos están igual de expuestos. Los límites son que la entrada del blog da pocos detalles, que las afirmaciones sobre productos son de la propia Microsoft y que las protecciones de Foundry no cubren el caso de un proveedor de confianza que esté comprometido, algo que Microsoft reconoce.

Nuestra opinión: Si usas modelos de pesos abiertos con acceso a herramientas o a la terminal, trata la procedencia de los pesos como un problema de cadena de suministro, con sumas de verificación y versiones firmadas, porque las pruebas de comportamiento no bastan para detectarlo.

Nuestras reseñas:Microsoft Foundry

Fuente: Microsoft Research

Más historias