Alineamiento de la IA
El alineamiento de la IA (AI alignment) es el trabajo de conseguir que el comportamiento de un sistema de IA coincida con lo que de verdad pretenden sus usuarios y desarrolladores, de modo que sea útil, honesto y evite daños, en lugar de limitarse a predecir texto probable u optimizar una puntuación estrecha.
También llamado: alignment, model alignment
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Un modelo entrenado solo para predecir la siguiente palabra aprende a imitar internet, incluidos sus errores y su peor contenido. El artículo de InstructGPT planteó el problema con claridad: hacer más grandes los modelos de lenguaje no los hace por sí solo mejores para seguir la intención del usuario, y esos modelos pueden ser poco veraces, tóxicos o poco útiles. En ese sentido, no están alineados con sus usuarios.
Cómo se alinean hoy los modelos
La mayoría de los modelos de chat pasan por un post-entrenamiento después del preentrenamiento. Primero, fine-tuning supervisado con ejemplos de buenas respuestas. Después, entrenamiento por preferencias: personas ordenan pares de respuestas y el modelo se ajusta hacia las preferidas, mediante RLHF con un modelo de recompensa o directamente con métodos como DPO. Los laboratorios también escriben reglas o principios que el modelo se entrena para seguir, y prueban el resultado con red teaming.
Dos sentidos de la palabra
En el trabajo de producto, alineamiento suele significar el objetivo práctico de arriba: un modelo que sigue instrucciones, rechaza peticiones claramente dañinas y admite la incertidumbre. En la investigación sobre seguridad de la IA también abarca una pregunta a más largo plazo: cómo lograr que sistemas mucho más capaces sigan persiguiendo los objetivos que las personas pretendían, cuando esos objetivos son difíciles de especificar y el sistema puede encontrar atajos. Los dos se solapan, pero no son lo mismo.
Límites
El entrenamiento de alineamiento cambia el comportamiento, no el conocimiento de fondo, y se puede eludir. Un jailbreak es prueba de una brecha de alineamiento. El entrenamiento por preferencias también puede enseñar a un modelo a complacer a los evaluadores, por ejemplo siendo complaciente o prolijo, en lugar de acertar. Por eso las aplicaciones siguen añadiendo encima sus propios guardrails y evaluaciones.
Términos relacionados
- RLHF
- El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.
- Red teaming de IA
- El red teaming de IA (AI red teaming) es la práctica de atacar a propósito un modelo o una aplicación de IA antes y después de su lanzamiento, con probadores humanos o herramientas automáticas, para encontrar salidas dañinas, jailbreaks, inyecciones y otros fallos y poder corregirlos.
- Direct preference optimization
- La direct preference optimization (DPO, optimización directa de preferencias) es una forma de alinear un modelo de lenguaje con las preferencias humanas entrenándolo directamente con pares de respuestas preferidas y rechazadas, con una función de pérdida sencilla de tipo clasificación en lugar de un modelo de recompensa y aprendizaje por refuerzo.
- Modelo de recompensa
- Un modelo de recompensa (reward model) es un modelo independiente entrenado con datos de preferencias humanas para puntuar lo buena que es una respuesta. Después, el aprendizaje por refuerzo usa esa puntuación para ajustar un modelo de lenguaje hacia las respuestas que prefiere la gente.
- Jailbreak (LLM)
- Un jailbreak es un prompt o una técnica que consigue que un modelo de lenguaje produzca una salida que su entrenamiento de seguridad debería rechazar, como instrucciones dañinas, mediante juegos de rol, ofuscación, codificaciones extrañas o textos adversarios largos.