Chunking
El chunking (fragmentación) es el paso que divide documentos largos en pasajes más pequeños antes de convertirlos en embeddings e indexarlos, para que un sistema de recuperación pueda encontrar y devolver solo las partes de un documento que responden a una consulta.
También llamado: document chunking, chunk size, chunk overlap, semantic chunking
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Un modelo de lenguaje no puede leer de una vez toda una biblioteca de documentos, y un embedding de un PDF de 200 páginas dice poco sobre cualquier página concreta. El chunking corta la fuente en pasajes lo bastante pequeños para convertirlos en embeddings, buscarlos y pegarlos en un prompt. Es la primera decisión de diseño en un pipeline de generación aumentada por recuperación, y una mala decisión aquí limita todo lo que viene después.
Cómo funciona
El método más sencillo usa un tamaño fijo: cada N palabras, caracteres o tokens. El artículo original de RAG dividió cada artículo de Wikipedia en fragmentos de 100 palabras. La mayoría de los divisores añaden solapamiento entre fragmentos, repitiendo unas pocas frases en cada límite para que no se pierda una idea que abarca dos fragmentos. Los divisores recursivos prueban primero los cortes naturales (secciones, luego párrafos, luego frases) y solo recurren a unidades más pequeñas cuando un trozo sigue siendo demasiado largo. El chunking consciente de la estructura usa los títulos y las tablas detectados durante el análisis de documentos.
Chunking semántico
El chunking semántico coloca los cortes según el significado y no según la longitud. Convierte cada frase en embedding y empieza un fragmento nuevo donde baja la similitud entre frases vecinas, para que cada fragmento contenga frases sobre un solo tema. Cuesta una llamada de embedding por frase, y el umbral de corte hay que ajustarlo para cada corpus.
Ventajas e inconvenientes
Los fragmentos pequeños coinciden con precisión con las consultas pero pierden contexto; los grandes conservan el contexto pero diluyen el embedding y ocupan más ventana de contexto. No hay un tamaño óptimo universal, así que prueba unos cuantos ajustes con preguntas reales. La guía de la fase de chunking compara las herramientas.
Términos relacionados
- Generación aumentada por recuperación
- La generación aumentada por recuperación (RAG, retrieval-augmented generation) es un patrón en el que un sistema busca primero en una colección de documentos los pasajes relevantes para una pregunta y luego se los da a un modelo de lenguaje para que su respuesta se base en ellos.
- Análisis de documentos
- El análisis de documentos (document parsing) convierte archivos como PDF, escaneos, presentaciones y hojas de cálculo en texto estructurado que el software puede usar, conservando títulos, orden de lectura, tablas e imágenes en lugar de un flujo plano de caracteres.
- Embedding
- Un embedding (vector de representación) es una lista de números (un vector) que representa un fragmento de texto, una imagen u otros datos, generada de forma que los elementos con significado parecido acaban con vectores cercanos entre sí.
- Base de datos vectorial
- Una base de datos vectorial (vector database) guarda embeddings junto a sus registros de origen y encuentra los vectores guardados más cercanos a un vector de consulta, normalmente con un índice aproximado para que la búsqueda siga siendo rápida con millones de elementos.
- Ventana de contexto
- Una ventana de contexto (context window) es la cantidad máxima de texto, contada en tokens, que un modelo de lenguaje puede tener en cuenta a la vez, e incluye el system prompt, la conversación, los documentos, los resultados de herramientas y la respuesta que escribe.
- Reranking
- El reranking (reordenación) es un segundo paso de búsqueda que toma una lista corta de documentos candidatos y los reordena según su relevancia para la consulta, usando un modelo más preciso pero más lento que el de la primera búsqueda.