Preentrenamiento
El preentrenamiento (pretraining) es la primera y mayor etapa del entrenamiento de un modelo, en la que aprende patrones generales de un conjunto de datos muy grande y sin etiquetar, normalmente prediciendo el siguiente token, antes de cualquier ajuste para una tarea concreta.
También llamado: pre-training
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
En el preentrenamiento es donde un modelo de lenguaje obtiene la mayor parte de su conocimiento y su capacidad. El modelo lee un corpus enorme de páginas web, libros, código y otros textos, y se entrena para predecir el siguiente token en cada posición. Nadie etiqueta los datos; el propio texto aporta las respuestas correctas. El resultado es un modelo base.
Por qué importa
El preentrenamiento es con diferencia el paso más caro, así que solo unas pocas organizaciones lo hacen con modelos grandes. Casi todos los demás parten de un checkpoint preentrenado y lo adaptan. El artículo de GPT-3 describe este patrón: preentrenar con un corpus grande y luego hacer fine-tuning para una tarea. El informe de 2021 que acuñó el término foundation model lo usó para modelos entrenados con datos amplios y adaptados después a muchas tareas.
Lo que entra en el preentrenamiento condiciona todo lo que viene después: qué idiomas maneja el modelo, qué estilos de programación conoce, qué repite y su fecha de corte de conocimiento. Consulta datos de entrenamiento de IA para ver de dónde salen esos datos.
En qué se diferencia del fine-tuning
El fine-tuning y el post-entrenamiento (como el instruction tuning y el RLHF) usan conjuntos de datos mucho más pequeños y cuidados para cambiar cómo se comporta el modelo: seguir instrucciones, responder en un formato, rechazar algunas peticiones. Añaden relativamente poco conocimiento nuevo. Si un modelo no conoce un dato, el fine-tuning suele ser un mal remedio; la recuperación suele funcionar mejor.
Preentrenamiento continuado
A veces los equipos hacen más preentrenamiento con un corpus de un dominio, como textos legales o médicos, antes del fine-tuning. Esto queda entre las dos etapas y cuesta mucho menos que preentrenar desde cero.
Términos relacionados
- Fine-tuning
- El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
- Modelo fundacional
- Un modelo fundacional (foundation model) es un modelo grande entrenado con datos amplios a gran escala que se puede adaptar a muchas tareas posteriores distintas, mediante prompts o fine-tuning, en lugar de construirse para una sola tarea.
- Datos de entrenamiento de IA
- Los datos de entrenamiento de IA son el conjunto de ejemplos del que aprende un modelo, como texto web, código, imágenes, transcripciones o pares etiquetados. Su tamaño, calidad, mezcla y licencias determinan lo que el modelo puede hacer y dónde falla.
- Modelo base
- Un modelo base (base model) es un modelo de lenguaje recién salido del preentrenamiento, antes del ajuste por instrucciones o del entrenamiento con feedback humano. Continúa el texto que se le da en lugar de seguir instrucciones o mantener una conversación.
- Fecha de corte de conocimiento
- La fecha de corte de conocimiento (knowledge cutoff) es la fecha a partir de la cual un modelo tiene poca o ninguna información, porque sus datos de entrenamiento se recopilaron hasta más o menos entonces. Los hechos posteriores le son desconocidos salvo que se le den en el prompt.