Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Transformer (arquitectura)

El transformer es una arquitectura de red neuronal, presentada en 2017, que procesa secuencias usando atención en lugar de recurrencia. Es la base de casi todos los modelos de lenguaje grandes actuales y de muchos modelos de imagen y audio.

También llamado: transformer model

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Antes de los transformers, los modelos de lenguaje usaban sobre todo redes recurrentes que leían el texto palabra a palabra. El artículo de 2017 "Attention Is All You Need" propuso una arquitectura basada únicamente en la atención, prescindiendo de la recurrencia y las convoluciones. Era más paralelizable y mucho más rápida de entrenar, lo que hizo prácticos los grandes modelos actuales.

Cómo funciona

El texto se divide en tokens y cada token se convierte en un vector. Un transformer apila muchas capas idénticas. En cada una, el mecanismo de atención permite que cada token sopese todos los demás tokens de la ventana de contexto para decidir qué es relevante, y luego una red feed-forward procesa el resultado. Como en el entrenamiento todos los tokens se tratan a la vez, el trabajo se reparte bien entre GPU.

Variantes

El diseño original tenía un codificador y un decodificador para traducción. La mayoría de los modelos de chat, como las familias GPT y Llama, son solo decodificador y generan un token cada vez; son modelos autorregresivos. Los modelos solo codificador como BERT son habituales para embeddings.

Límites y el nombre

El coste de la atención estándar crece con el cuadrado de la longitud de la secuencia, por eso el contexto largo es caro. Alternativas como los modelos de espacio de estados intentan resolverlo. Esta página trata de la arquitectura, no de la biblioteca Transformers de Hugging Face, que es software para ejecutar este tipo de modelos.

Términos relacionados

Mecanismo de atención
Un mecanismo de atención permite a una red neuronal decidir, para cada token que procesa, cuánto peso dar a cada uno de los demás tokens de la entrada. La autoatención (self-attention) es la operación central dentro de un transformer.
Modelo de lenguaje grande
Un modelo de lenguaje grande (LLM, large language model) es una red neuronal con miles de millones de parámetros, entrenada con grandes cantidades de texto para predecir el siguiente token, lo que le permite redactar, responder preguntas, resumir y seguir instrucciones.
Modelo autorregresivo
Un modelo autorregresivo genera una secuencia pieza a pieza, prediciendo cada token siguiente a partir de todos los tokens anteriores y volviendo a introducir esa salida. La mayoría de los modelos de lenguaje grandes funcionan así.
Modelo de espacio de estados
Un modelo de espacio de estados (SSM, state space model) es un modelo de secuencias que arrastra un estado oculto de tamaño fijo mientras lee cada token, de modo que su coste crece de forma lineal con la longitud de la entrada. Mamba es el ejemplo más conocido.
Token (LLM)
Un token (LLM) es la unidad básica de texto que un modelo de lenguaje lee y escribe, a menudo una palabra, parte de una palabra, un signo de puntuación o un byte. Los precios, la velocidad y los límites de contexto se cuentan en tokens.

Fuentes