Preparación de datos
Convertir documentos, páginas web y archivos en algo que un sistema de IA pueda usar.
- Análisis de diseño
- El análisis de diseño (layout analysis) es la parte del análisis de documentos que encuentra las regiones de una página, como títulos, párrafos, tablas, figuras, pies de figura y pies de página, etiqueta cada una y determina el orden en que las leería una persona.
- Análisis de documentos
- El análisis de documentos (document parsing) convierte archivos como PDF, escaneos, presentaciones y hojas de cálculo en texto estructurado que el software puede usar, conservando títulos, orden de lectura, tablas e imágenes en lugar de un flujo plano de caracteres.
- Chunking
- El chunking (fragmentación) es el paso que divide documentos largos en pasajes más pequeños antes de convertirlos en embeddings e indexarlos, para que un sistema de recuperación pueda encontrar y devolver solo las partes de un documento que responden a una consulta.
- Extracción de tablas
- La extracción de tablas (table extraction) es la tarea de encontrar tablas en documentos y reconstruir sus filas, columnas, encabezados y celdas como datos estructurados, por ejemplo HTML, Markdown o CSV, en lugar de líneas sueltas de texto.
- llms.txt
- llms.txt es una convención propuesta en la que un sitio web publica un archivo Markdown, normalmente en /llms.txt, que resume el sitio y enlaza a sus páginas más útiles en un formato que los modelos de lenguaje pueden leer con facilidad.
- Rastreador de IA
- Un rastreador de IA (AI crawler) es un bot automatizado de una empresa de IA que descarga páginas web para recopilar datos de entrenamiento, construir un índice de búsqueda con IA o recuperar una página en directo cuando un usuario pregunta por ella a un asistente.
- Rastreo web para IA
- El rastreo web para IA (web crawling) es la descarga automática de páginas web, siguiendo enlaces o una lista de URL, para reunir texto con el que entrenar modelos, construir índices de búsqueda o dar a una aplicación contenido actualizado que recuperar.
- Reconocimiento óptico de caracteres
- El reconocimiento óptico de caracteres (OCR) es software que lee texto de imágenes, como páginas escaneadas, fotos o capturas de pantalla, y lo convierte en caracteres legibles por máquina que se pueden buscar, copiar o pasar a un modelo.