Datenaufbereitung
Dokumente, Webseiten und Dateien in eine Form bringen, mit der ein KI-System arbeiten kann.
- Chunking
- Chunking (Aufteilung in Abschnitte) ist der Schritt, der lange Dokumente in kleinere Passagen zerlegt, bevor sie eingebettet und indexiert werden, damit ein Retrieval-System nur die Teile eines Dokuments finden und zurückgeben kann, die eine Anfrage beantworten.
- Document Parsing
- Document Parsing (Dokumentenanalyse) wandelt Dateien wie PDFs, Scans, Folien und Tabellen in strukturierten Text um, den Software nutzen kann, und erhält dabei Überschriften, Lesereihenfolge, Tabellen und Bilder statt eines flachen Zeichenstroms.
- KI-Crawler
- Ein KI-Crawler (AI Crawler) ist ein automatisierter Bot eines KI-Unternehmens, der Webseiten abruft, um Trainingsdaten zu sammeln, einen KI-Suchindex aufzubauen oder eine Seite live zu laden, wenn ein Nutzer einen Assistenten danach fragt.
- Layoutanalyse
- Layoutanalyse (Layout Analysis) ist der Teil des Document Parsing, der die Bereiche einer Seite findet, etwa Titel, Absätze, Tabellen, Abbildungen, Bildunterschriften und Fußzeilen, jeden davon benennt und die Reihenfolge ermittelt, in der ein Mensch sie lesen würde.
- llms.txt
- llms.txt ist eine vorgeschlagene Konvention, bei der eine Website eine Markdown-Datei veröffentlicht, meist unter /llms.txt, die die Site zusammenfasst und auf ihre nützlichsten Seiten verlinkt, in einer Form, die Sprachmodelle leicht lesen können.
- Optische Zeichenerkennung
- Optische Zeichenerkennung (OCR) ist Software, die Text aus Bildern wie gescannten Seiten, Fotos oder Screenshots liest und in maschinenlesbare Zeichen verwandelt, die sich durchsuchen, kopieren oder an ein Modell übergeben lassen.
- Tabellenextraktion
- Tabellenextraktion ist die Aufgabe, Tabellen in Dokumenten zu finden und ihre Zeilen, Spalten, Kopfzeilen und Zellen als strukturierte Daten wie HTML, Markdown oder CSV nachzubauen, statt als lose Textzeilen.
- Web-Crawling für KI
- Web-Crawling für KI ist das automatisierte Abrufen von Webseiten, indem Links oder einer Liste von URLs gefolgt wird, um Text für das Training von Modellen zu sammeln, Suchindizes aufzubauen oder einer Anwendung frische Inhalte zum Abrufen zu geben.