Chunking
Chunking (divisão em trechos) é a etapa que divide documentos longos em passagens menores antes de gerar seus embeddings e indexá-los, para que um sistema de recuperação possa encontrar e devolver apenas as partes de um documento que respondem a uma consulta.
Também chamado: document chunking, chunk size, chunk overlap, semantic chunking
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Um modelo de linguagem não consegue ler uma biblioteca inteira de documentos de uma vez, e o embedding de um PDF de 200 páginas diz pouco sobre qualquer página isolada. O chunking corta a fonte em passagens pequenas o bastante para gerar embeddings, buscar e colar em um prompt. É a primeira escolha de design em um pipeline de geração aumentada por recuperação, e uma escolha ruim aqui limita tudo o que vem depois.
Como funciona
O método mais simples usa um tamanho fixo: a cada N palavras, caracteres ou tokens. O artigo original do RAG dividiu cada artigo da Wikipédia em chunks de 100 palavras. A maioria dos divisores acrescenta sobreposição entre chunks (chunk overlap), repetindo algumas frases em cada fronteira para que uma ideia que se estende por dois chunks não se perca. Divisores recursivos tentam primeiro quebras naturais (seções, depois parágrafos, depois frases) e só recorrem a unidades menores quando um pedaço ainda está longo demais. O chunking que respeita a estrutura usa os títulos e as tabelas encontrados durante o parsing de documentos.
Chunking semântico
O chunking semântico coloca as quebras pelo significado, e não pelo tamanho. Ele gera o embedding de cada frase e começa um novo chunk onde a similaridade entre frases vizinhas cai, para que cada chunk reúna frases sobre um mesmo assunto. Ele custa uma chamada de embedding por frase, e o limiar de quebra precisa ser ajustado para cada corpus.
Prós e contras
Chunks pequenos casam com as consultas com precisão, mas perdem contexto; chunks grandes mantêm o contexto, mas diluem o embedding e usam mais da janela de contexto. Não existe um tamanho ideal universal, então teste algumas configurações com perguntas reais. O guia da etapa de chunking compara as ferramentas.
Termos relacionados
- Retrieval-augmented generation
- Retrieval-augmented generation (RAG, geração aumentada por recuperação) é um padrão em que um sistema primeiro busca em uma coleção de documentos os trechos relevantes para uma pergunta e depois entrega esses trechos a um modelo de linguagem para que a resposta se baseie neles.
- Parsing de documentos
- O parsing de documentos (análise de documentos) converte arquivos como PDFs, digitalizações, apresentações e planilhas em texto estruturado que um software consegue usar, mantendo títulos, ordem de leitura, tabelas e imagens, em vez de um fluxo plano de caracteres.
- Embedding
- Um embedding (representação vetorial) é uma lista de números (um vetor) que representa um trecho de texto, uma imagem ou outros dados, produzida de forma que itens com significado parecido acabem com vetores próximos entre si.
- Banco de dados vetorial
- Um banco de dados vetorial (vector database) armazena embeddings junto com seus registros de origem e encontra os vetores guardados mais próximos de um vetor de consulta, geralmente com um índice aproximado para que a busca continue rápida em milhões de itens.
- Janela de contexto
- Uma janela de contexto (context window) é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue considerar de uma vez, incluindo o prompt de sistema, a conversa, os documentos, os resultados de ferramentas e a resposta que ele escreve.
- Reranking
- Reranking (reordenação) é uma segunda etapa de busca que pega uma lista curta de documentos candidatos e os reordena por relevância para a consulta, usando um modelo mais preciso, porém mais lento, que o da primeira busca.