Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Alineamiento de la IA

El alineamiento de la IA (AI alignment) es el trabajo de conseguir que el comportamiento de un sistema de IA coincida con lo que de verdad pretenden sus usuarios y desarrolladores, de modo que sea útil, honesto y evite daños, en lugar de limitarse a predecir texto probable u optimizar una puntuación estrecha.

También llamado: alignment, model alignment

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Un modelo entrenado solo para predecir la siguiente palabra aprende a imitar internet, incluidos sus errores y su peor contenido. El artículo de InstructGPT planteó el problema con claridad: hacer más grandes los modelos de lenguaje no los hace por sí solo mejores para seguir la intención del usuario, y esos modelos pueden ser poco veraces, tóxicos o poco útiles. En ese sentido, no están alineados con sus usuarios.

Cómo se alinean hoy los modelos

La mayoría de los modelos de chat pasan por un post-entrenamiento después del preentrenamiento. Primero, fine-tuning supervisado con ejemplos de buenas respuestas. Después, entrenamiento por preferencias: personas ordenan pares de respuestas y el modelo se ajusta hacia las preferidas, mediante RLHF con un modelo de recompensa o directamente con métodos como DPO. Los laboratorios también escriben reglas o principios que el modelo se entrena para seguir, y prueban el resultado con red teaming.

Dos sentidos de la palabra

En el trabajo de producto, alineamiento suele significar el objetivo práctico de arriba: un modelo que sigue instrucciones, rechaza peticiones claramente dañinas y admite la incertidumbre. En la investigación sobre seguridad de la IA también abarca una pregunta a más largo plazo: cómo lograr que sistemas mucho más capaces sigan persiguiendo los objetivos que las personas pretendían, cuando esos objetivos son difíciles de especificar y el sistema puede encontrar atajos. Los dos se solapan, pero no son lo mismo.

Límites

El entrenamiento de alineamiento cambia el comportamiento, no el conocimiento de fondo, y se puede eludir. Un jailbreak es prueba de una brecha de alineamiento. El entrenamiento por preferencias también puede enseñar a un modelo a complacer a los evaluadores, por ejemplo siendo complaciente o prolijo, en lugar de acertar. Por eso las aplicaciones siguen añadiendo encima sus propios guardrails y evaluaciones.

Términos relacionados

RLHF
El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.
Red teaming de IA
El red teaming de IA (AI red teaming) es la práctica de atacar a propósito un modelo o una aplicación de IA antes y después de su lanzamiento, con probadores humanos o herramientas automáticas, para encontrar salidas dañinas, jailbreaks, inyecciones y otros fallos y poder corregirlos.
Direct preference optimization
La direct preference optimization (DPO, optimización directa de preferencias) es una forma de alinear un modelo de lenguaje con las preferencias humanas entrenándolo directamente con pares de respuestas preferidas y rechazadas, con una función de pérdida sencilla de tipo clasificación en lugar de un modelo de recompensa y aprendizaje por refuerzo.
Modelo de recompensa
Un modelo de recompensa (reward model) es un modelo independiente entrenado con datos de preferencias humanas para puntuar lo buena que es una respuesta. Después, el aprendizaje por refuerzo usa esa puntuación para ajustar un modelo de lenguaje hacia las respuestas que prefiere la gente.
Jailbreak (LLM)
Un jailbreak es un prompt o una técnica que consigue que un modelo de lenguaje produzca una salida que su entrenamiento de seguridad debería rechazar, como instrucciones dañinas, mediante juegos de rol, ofuscación, codificaciones extrañas o textos adversarios largos.

Fuentes