Modelos y cómo funcionan
Qué son los modelos de lenguaje y otros modelos de IA, cómo se construyen y dimensionan, y las palabras que los describen.
- Alucinación (IA)
- Una alucinación es una salida de un modelo de IA que suena fluida y segura, pero que es falsa, no está respaldada por sus fuentes o es inventada, como una cita bibliográfica, una frase, una estadística o una función de API que no existen.
- Cuantización
- La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
- Destilación de conocimiento
- La destilación de conocimiento (knowledge distillation) es un método de entrenamiento en el que un modelo alumno más pequeño aprende a imitar las salidas de un modelo profesor más grande, dando lugar a un modelo destilado que conserva gran parte de la habilidad del profesor a menor coste.
- Fecha de corte de conocimiento
- La fecha de corte de conocimiento (knowledge cutoff) es la fecha a partir de la cual un modelo tiene poca o ninguna información, porque sus datos de entrenamiento se recopilaron hasta más o menos entonces. Los hechos posteriores le son desconocidos salvo que se le den en el prompt.
- GGUF
- GGUF es un formato de archivo binario que guarda en un solo archivo los pesos, el tokenizador y los metadatos de un modelo, pensado para una carga rápida y para la inferencia local con herramientas basadas en GGML como llama.cpp, a menudo en forma cuantizada.
- IA de código abierto
- La IA de código abierto (open source AI) es un sistema de IA publicado con condiciones que permiten a cualquiera usarlo, estudiarlo, modificarlo y compartirlo, con acceso a las partes necesarias para cambiarlo: información sobre los datos de entrenamiento, el código completo y los parámetros del modelo.
- Licencia del modelo
- La licencia del modelo (model license) son los términos legales bajo los que se pueden usar, modificar y compartir los pesos de un modelo, y a veces su código y sus datos. Van desde licencias abiertas permisivas hasta licencias no comerciales o restringidas a medida.
- Mecanismo de atención
- Un mecanismo de atención permite a una red neuronal decidir, para cada token que procesa, cuánto peso dar a cada uno de los demás tokens de la entrada. La autoatención (self-attention) es la operación central dentro de un transformer.
- Mixture of experts
- La mixture of experts (MoE, mezcla de expertos) es un diseño de modelo en el que cada capa contiene varias subredes expertas y un router envía cada token solo a unas pocas, de modo que por cada token se ejecuta solo una parte del modelo.
- Modelo autorregresivo
- Un modelo autorregresivo genera una secuencia pieza a pieza, prediciendo cada token siguiente a partir de todos los tokens anteriores y volviendo a introducir esa salida. La mayoría de los modelos de lenguaje grandes funcionan así.
- Modelo base
- Un modelo base (base model) es un modelo de lenguaje recién salido del preentrenamiento, antes del ajuste por instrucciones o del entrenamiento con feedback humano. Continúa el texto que se le da en lugar de seguir instrucciones o mantener una conversación.
- Modelo de espacio de estados
- Un modelo de espacio de estados (SSM, state space model) es un modelo de secuencias que arrastra un estado oculto de tamaño fijo mientras lee cada token, de modo que su coste crece de forma lineal con la longitud de la entrada. Mamba es el ejemplo más conocido.
- Modelo de frontera
- Un modelo de frontera (frontier model) es uno de los modelos de IA de uso general más capaces disponibles en un momento dado, normalmente de un laboratorio con mucha financiación. El término es relativo y también aparece en las políticas de seguridad de la IA.
- Modelo de lenguaje de difusión
- Un modelo de lenguaje de difusión (dLLM) genera texto partiendo de una secuencia totalmente enmascarada o con ruido y refinando muchas posiciones de tokens en paralelo a lo largo de varios pasos, en lugar de escribir un token cada vez.
- Modelo de lenguaje grande
- Un modelo de lenguaje grande (LLM, large language model) es una red neuronal con miles de millones de parámetros, entrenada con grandes cantidades de texto para predecir el siguiente token, lo que le permite redactar, responder preguntas, resumir y seguir instrucciones.
- Modelo de lenguaje pequeño
- Un modelo de lenguaje pequeño (SLM, small language model) es un modelo de lenguaje con relativamente pocos parámetros, normalmente unos pocos miles de millones o menos, creado para funcionar en un portátil, un teléfono o una sola GPU a menor coste que un modelo grande.
- Modelo de pesos abiertos
- Un modelo de pesos abiertos (open-weight model) es un modelo cuyos pesos entrenados se publican para que cualquiera los descargue y ejecute, a menudo sin el código de entrenamiento ni los datos de entrenamiento completos, por lo que no es necesariamente de código abierto.
- Modelo de razonamiento
- Un modelo de razonamiento (reasoning model) es un modelo de lenguaje entrenado para resolver un problema mediante un flujo de tokens de razonamiento intermedios antes de dar su respuesta final, lo que suele ayudar en matemáticas, programación y tareas de varios pasos.
- Modelo de visión y lenguaje
- Un modelo de visión y lenguaje (VLM, vision-language model) es un modelo que recibe imágenes y texto como entrada y produce texto, de modo que puede describir imágenes, responder preguntas sobre ellas, leer documentos y extraer datos de capturas de pantalla.
- Modelo fundacional
- Un modelo fundacional (foundation model) es un modelo grande entrenado con datos amplios a gran escala que se puede adaptar a muchas tareas posteriores distintas, mediante prompts o fine-tuning, en lugar de construirse para una sola tarea.
- Modelo instruct
- Un modelo instruct (modelo ajustado a instrucciones) es un modelo de lenguaje base que se ha seguido entrenando con instrucciones emparejadas con buenas respuestas, y a menudo con feedback humano, para que siga peticiones en lugar de limitarse a continuar texto.
- Modelo multimodal
- Un modelo multimodal es un modelo de IA que puede recibir, y a veces producir, más de un tipo de datos, como texto, imágenes, audio o vídeo, dentro de un único modelo y no mediante sistemas separados.
- ONNX
- ONNX (Open Neural Network Exchange) es un formato de archivo abierto para modelos de machine learning. Describe un modelo como un grafo de operadores estándar para que pueda entrenarse en un framework y ejecutarse en otro.
- Parámetros del modelo
- Los parámetros del modelo (model parameters) son los números que una red neuronal aprende durante el entrenamiento, sobre todo pesos. El número de parámetros, escrito como 7B para siete mil millones, es la forma abreviada habitual de indicar el tamaño de un modelo.
- Pesos del modelo
- Los pesos del modelo (model weights) son los números aprendidos dentro de una red neuronal, fijados durante el entrenamiento, que deciden cómo convierte la entrada en salida. Un checkpoint es un archivo o conjunto de archivos guardado que contiene esos pesos.
- Preentrenamiento
- El preentrenamiento (pretraining) es la primera y mayor etapa del entrenamiento de un modelo, en la que aprende patrones generales de un conjunto de datos muy grande y sin etiquetar, normalmente prediciendo el siguiente token, antes de cualquier ajuste para una tarea concreta.
- Safetensors
- Safetensors es un formato de archivo de Hugging Face para guardar pesos de modelos. A diferencia de los archivos pickle de Python, cargarlo no puede ejecutar código oculto, y permite una carga rápida de tensores individuales mediante mapeo en memoria.
- Test-time compute
- El test-time compute (cómputo en tiempo de inferencia) es la cantidad de cálculo que gasta un modelo al responder una petición, y no durante el entrenamiento. Dejar que un modelo piense más tiempo o pruebe varias respuestas puede mejorar los resultados en problemas difíciles.
- Token (LLM)
- Un token (LLM) es la unidad básica de texto que un modelo de lenguaje lee y escribe, a menudo una palabra, parte de una palabra, un signo de puntuación o un byte. Los precios, la velocidad y los límites de contexto se cuentan en tokens.
- Tokenizador
- Un tokenizador (tokenizer) es el componente que divide el texto en tokens y los convierte en identificadores numéricos que un modelo de lenguaje puede procesar, y que después convierte de nuevo en texto los identificadores de salida del modelo.
- Transformer (arquitectura)
- El transformer es una arquitectura de red neuronal, presentada en 2017, que procesa secuencias usando atención en lugar de recurrencia. Es la base de casi todos los modelos de lenguaje grandes actuales y de muchos modelos de imagen y audio.
- Ventana de contexto
- Una ventana de contexto (context window) es la cantidad máxima de texto, contada en tokens, que un modelo de lenguaje puede tener en cuenta a la vez, e incluye el system prompt, la conversación, los documentos, los resultados de herramientas y la respuesta que escribe.
- Weight-space programming
- La weight-space programming (programación en el espacio de pesos) es una capacidad propuesta en la que un modelo de lenguaje lee los pesos de una red neuronal para entender qué calcula y luego escribe o edita esos pesos directamente, sin entrenamiento por gradiente, como un programador edita código.
- World model
- Un world model (modelo del mundo) es un modelo de IA que aprende cómo funciona un entorno lo bastante bien como para predecir qué pasará después, a menudo a partir de vídeo o datos de sensores, para que un agente pueda planificar o entrenarse dentro de la simulación.