Pré-treinamento
O pré-treinamento (pretraining) é a primeira e maior etapa do treinamento de um modelo, em que ele aprende padrões gerais a partir de um dataset enorme sem rótulos, geralmente prevendo o próximo token, antes de qualquer ajuste para uma tarefa específica.
Também chamado: pre-training
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
O pré-treinamento é onde um modelo de linguagem ganha a maior parte do seu conhecimento e da sua capacidade. O modelo lê um corpus enorme de páginas web, livros, código e outros textos, e é treinado para prever o próximo token em cada posição. Ninguém rotula os dados; o próprio texto fornece as respostas certas. O resultado é um modelo base.
Por que importa
O pré-treinamento é de longe a etapa mais cara, então só poucas organizações o fazem para modelos grandes. Quase todos os outros partem de um checkpoint pré-treinado e o adaptam. O artigo do GPT-3 descreve esse padrão: pré-treinar em um corpus grande e depois fazer fine-tuning para uma tarefa. O relatório de 2021 que cunhou o termo foundation model o usou para modelos treinados com dados amplos e depois adaptados a muitas tarefas.
O que entra no pré-treinamento molda tudo o que vem depois: quais idiomas o modelo domina, quais estilos de código conhece, o que ele repete e o seu knowledge cutoff. Veja dados de treinamento de IA para saber de onde vêm esses dados.
Como difere do fine-tuning
O fine-tuning e o pós-treinamento (como instruction tuning e RLHF) usam datasets bem menores e selecionados para mudar como o modelo se comporta: seguir instruções, responder em um formato, recusar alguns pedidos. Eles adicionam relativamente pouco conhecimento novo. Se um modelo não sabe um fato, o fine-tuning costuma ser uma correção ruim; a recuperação muitas vezes é melhor.
Pré-treinamento continuado
Às vezes as equipes rodam mais pré-treinamento em um corpus de domínio, como textos jurídicos ou médicos, antes do fine-tuning. Isso fica entre as duas etapas e custa muito menos que pré-treinar do zero.
Termos relacionados
- Fine-tuning
- Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
- Modelo de fundação
- Um modelo de fundação (foundation model) é um modelo grande treinado com dados amplos em escala, que pode ser adaptado a muitas tarefas diferentes, por prompting ou fine-tuning, em vez de ser construído para uma única tarefa.
- Dados de treinamento de IA
- Dados de treinamento de IA são o conjunto de exemplos com que um modelo aprende, como texto da web, código, imagens, transcrições ou pares rotulados. Seu tamanho, qualidade, composição e licenciamento definem o que o modelo consegue fazer e onde ele falha.
- Modelo base
- Um modelo base (base model) é um modelo de linguagem recém-saído do pré-treinamento, antes do ajuste por instruções ou do treinamento com feedback humano. Ele continua qualquer texto que receba, em vez de seguir instruções ou manter uma conversa.
- Knowledge cutoff
- O knowledge cutoff (data de corte do conhecimento) é a data depois da qual um modelo tem pouca ou nenhuma informação, porque seus dados de treinamento foram coletados até mais ou menos esse ponto. Eventos posteriores são desconhecidos, a menos que sejam fornecidos no prompt.