Preparação de dados
Transformar documentos, páginas da web e arquivos em algo que um sistema de IA consiga usar.
- Análise de layout
- A análise de layout (layout analysis) é a parte do parsing de documentos que encontra as regiões de uma página, como títulos, parágrafos, tabelas, figuras, legendas e rodapés, rotula cada uma e descobre a ordem em que uma pessoa as leria.
- Chunking
- Chunking (divisão em trechos) é a etapa que divide documentos longos em passagens menores antes de gerar seus embeddings e indexá-los, para que um sistema de recuperação possa encontrar e devolver apenas as partes de um documento que respondem a uma consulta.
- Crawler de IA
- Um crawler de IA (rastreador de IA) é um bot automatizado operado por uma empresa de IA que busca páginas da web para coletar dados de treinamento, montar um índice de busca com IA ou carregar uma página na hora quando um usuário pergunta a um assistente sobre ela.
- Extração de tabelas
- A extração de tabelas (table extraction) é a tarefa de encontrar tabelas em documentos e reconstruir suas linhas, colunas, cabeçalhos e células como dados estruturados, como HTML, Markdown ou CSV, em vez de linhas soltas de texto.
- llms.txt
- llms.txt é uma convenção proposta em que um site publica um arquivo Markdown, geralmente em /llms.txt, que resume o site e aponta para suas páginas mais úteis em um formato que modelos de linguagem leem com facilidade.
- Parsing de documentos
- O parsing de documentos (análise de documentos) converte arquivos como PDFs, digitalizações, apresentações e planilhas em texto estruturado que um software consegue usar, mantendo títulos, ordem de leitura, tabelas e imagens, em vez de um fluxo plano de caracteres.
- Reconhecimento óptico de caracteres
- O reconhecimento óptico de caracteres (OCR) é um software que lê texto em imagens, como páginas digitalizadas, fotos ou capturas de tela, e o transforma em caracteres legíveis por máquina que podem ser pesquisados, copiados ou enviados a um modelo.
- Web crawling para IA
- Web crawling para IA (rastreamento da web) é a busca automática de páginas web, seguindo links ou uma lista de URLs, para coletar texto para treinar modelos, construir índices de busca ou dar a uma aplicação conteúdo atualizado para recuperar.