Transformer (arquitectura)
El transformer es una arquitectura de red neuronal, presentada en 2017, que procesa secuencias usando atención en lugar de recurrencia. Es la base de casi todos los modelos de lenguaje grandes actuales y de muchos modelos de imagen y audio.
También llamado: transformer model
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Antes de los transformers, los modelos de lenguaje usaban sobre todo redes recurrentes que leían el texto palabra a palabra. El artículo de 2017 "Attention Is All You Need" propuso una arquitectura basada únicamente en la atención, prescindiendo de la recurrencia y las convoluciones. Era más paralelizable y mucho más rápida de entrenar, lo que hizo prácticos los grandes modelos actuales.
Cómo funciona
El texto se divide en tokens y cada token se convierte en un vector. Un transformer apila muchas capas idénticas. En cada una, el mecanismo de atención permite que cada token sopese todos los demás tokens de la ventana de contexto para decidir qué es relevante, y luego una red feed-forward procesa el resultado. Como en el entrenamiento todos los tokens se tratan a la vez, el trabajo se reparte bien entre GPU.
Variantes
El diseño original tenía un codificador y un decodificador para traducción. La mayoría de los modelos de chat, como las familias GPT y Llama, son solo decodificador y generan un token cada vez; son modelos autorregresivos. Los modelos solo codificador como BERT son habituales para embeddings.
Límites y el nombre
El coste de la atención estándar crece con el cuadrado de la longitud de la secuencia, por eso el contexto largo es caro. Alternativas como los modelos de espacio de estados intentan resolverlo. Esta página trata de la arquitectura, no de la biblioteca Transformers de Hugging Face, que es software para ejecutar este tipo de modelos.
Términos relacionados
- Mecanismo de atención
- Un mecanismo de atención permite a una red neuronal decidir, para cada token que procesa, cuánto peso dar a cada uno de los demás tokens de la entrada. La autoatención (self-attention) es la operación central dentro de un transformer.
- Modelo de lenguaje grande
- Un modelo de lenguaje grande (LLM, large language model) es una red neuronal con miles de millones de parámetros, entrenada con grandes cantidades de texto para predecir el siguiente token, lo que le permite redactar, responder preguntas, resumir y seguir instrucciones.
- Modelo autorregresivo
- Un modelo autorregresivo genera una secuencia pieza a pieza, prediciendo cada token siguiente a partir de todos los tokens anteriores y volviendo a introducir esa salida. La mayoría de los modelos de lenguaje grandes funcionan así.
- Modelo de espacio de estados
- Un modelo de espacio de estados (SSM, state space model) es un modelo de secuencias que arrastra un estado oculto de tamaño fijo mientras lee cada token, de modo que su coste crece de forma lineal con la longitud de la entrada. Mamba es el ejemplo más conocido.
- Token (LLM)
- Un token (LLM) es la unidad básica de texto que un modelo de lenguaje lee y escribe, a menudo una palabra, parte de una palabra, un signo de puntuación o un byte. Los precios, la velocidad y los límites de contexto se cuentan en tokens.