Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Preentrenamiento

El preentrenamiento (pretraining) es la primera y mayor etapa del entrenamiento de un modelo, en la que aprende patrones generales de un conjunto de datos muy grande y sin etiquetar, normalmente prediciendo el siguiente token, antes de cualquier ajuste para una tarea concreta.

También llamado: pre-training

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

En el preentrenamiento es donde un modelo de lenguaje obtiene la mayor parte de su conocimiento y su capacidad. El modelo lee un corpus enorme de páginas web, libros, código y otros textos, y se entrena para predecir el siguiente token en cada posición. Nadie etiqueta los datos; el propio texto aporta las respuestas correctas. El resultado es un modelo base.

Por qué importa

El preentrenamiento es con diferencia el paso más caro, así que solo unas pocas organizaciones lo hacen con modelos grandes. Casi todos los demás parten de un checkpoint preentrenado y lo adaptan. El artículo de GPT-3 describe este patrón: preentrenar con un corpus grande y luego hacer fine-tuning para una tarea. El informe de 2021 que acuñó el término foundation model lo usó para modelos entrenados con datos amplios y adaptados después a muchas tareas.

Lo que entra en el preentrenamiento condiciona todo lo que viene después: qué idiomas maneja el modelo, qué estilos de programación conoce, qué repite y su fecha de corte de conocimiento. Consulta datos de entrenamiento de IA para ver de dónde salen esos datos.

En qué se diferencia del fine-tuning

El fine-tuning y el post-entrenamiento (como el instruction tuning y el RLHF) usan conjuntos de datos mucho más pequeños y cuidados para cambiar cómo se comporta el modelo: seguir instrucciones, responder en un formato, rechazar algunas peticiones. Añaden relativamente poco conocimiento nuevo. Si un modelo no conoce un dato, el fine-tuning suele ser un mal remedio; la recuperación suele funcionar mejor.

Preentrenamiento continuado

A veces los equipos hacen más preentrenamiento con un corpus de un dominio, como textos legales o médicos, antes del fine-tuning. Esto queda entre las dos etapas y cuesta mucho menos que preentrenar desde cero.

Términos relacionados

Fine-tuning
El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
Modelo fundacional
Un modelo fundacional (foundation model) es un modelo grande entrenado con datos amplios a gran escala que se puede adaptar a muchas tareas posteriores distintas, mediante prompts o fine-tuning, en lugar de construirse para una sola tarea.
Datos de entrenamiento de IA
Los datos de entrenamiento de IA son el conjunto de ejemplos del que aprende un modelo, como texto web, código, imágenes, transcripciones o pares etiquetados. Su tamaño, calidad, mezcla y licencias determinan lo que el modelo puede hacer y dónde falla.
Modelo base
Un modelo base (base model) es un modelo de lenguaje recién salido del preentrenamiento, antes del ajuste por instrucciones o del entrenamiento con feedback humano. Continúa el texto que se le da en lugar de seguir instrucciones o mantener una conversación.
Fecha de corte de conocimiento
La fecha de corte de conocimiento (knowledge cutoff) es la fecha a partir de la cual un modelo tiene poca o ninguna información, porque sus datos de entrenamiento se recopilaron hasta más o menos entonces. Los hechos posteriores le son desconocidos salvo que se le den en el prompt.

Fuentes