Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Mecanismo de atención

Un mecanismo de atención permite a una red neuronal decidir, para cada token que procesa, cuánto peso dar a cada uno de los demás tokens de la entrada. La autoatención (self-attention) es la operación central dentro de un transformer.

También llamado: self-attention, attention

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

La atención es la forma en que un modelo de lenguaje averigua qué palabras anteriores importan para la palabra que está mirando ahora. En la frase "el trofeo no cabía en la maleta porque era demasiado pequeña", la atención es la parte que permite al modelo relacionar "pequeña" con "maleta".

Cómo funciona

Cada token se convierte en tres vectores: una consulta (query), una clave (key) y un valor (value). El modelo compara la consulta de un token con la clave de cada token para obtener una puntuación, convierte las puntuaciones en pesos que suman uno y después hace una mezcla ponderada de los valores. Esa mezcla pasa a ser la nueva representación del token. Autoatención significa que las consultas, las claves y los valores vienen todos de la misma secuencia. Los modelos ejecutan varias de estas en paralelo, llamadas cabezas (heads), para que cada cabeza pueda seguir relaciones distintas.

La atención ya se usaba junto a redes recurrentes antes de 2017. El artículo que presentó el transformer demostró que una red construida solo con atención, sin recurrencia, se entrenaba más rápido y traducía mejor.

Por qué importa al construir

La atención compara cada token con todos los demás, así que su coste crece rápido a medida que la entrada se alarga. Es una de las razones por las que las ventanas de contexto largas son caras. Durante la generación, los modelos guardan las claves y los valores anteriores en una caché KV para no recalcularlos con cada token nuevo, y esa caché es a menudo lo que llena la memoria de la GPU. Técnicas como la paged attention gestionan esta memoria, y alternativas como los modelos de espacio de estados intentan evitar ese coste por completo.

Límites

Los pesos de atención se muestran a veces como explicación de lo que un modelo "miró". Son una pista útil, no una explicación completa de por qué el modelo dio una respuesta.

Términos relacionados

Transformer (arquitectura)
El transformer es una arquitectura de red neuronal, presentada en 2017, que procesa secuencias usando atención en lugar de recurrencia. Es la base de casi todos los modelos de lenguaje grandes actuales y de muchos modelos de imagen y audio.
Caché KV
Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
Ventana de contexto
Una ventana de contexto (context window) es la cantidad máxima de texto, contada en tokens, que un modelo de lenguaje puede tener en cuenta a la vez, e incluye el system prompt, la conversación, los documentos, los resultados de herramientas y la respuesta que escribe.
PagedAttention
PagedAttention es un método para guardar la KV cache de un modelo de lenguaje en bloques pequeños de tamaño fijo que no tienen por qué estar contiguos en la memoria de la GPU, como las páginas en un sistema operativo. Reduce la memoria desperdiciada para que un servidor pueda atender más peticiones a la vez.
Modelo de espacio de estados
Un modelo de espacio de estados (SSM, state space model) es un modelo de secuencias que arrastra un estado oculto de tamaño fijo mientras lee cada token, de modo que su coste crece de forma lineal con la longitud de la entrada. Mamba es el ejemplo más conocido.

Fuentes