Web-Crawling für KI
Web-Crawling für KI ist das automatisierte Abrufen von Webseiten, indem Links oder einer Liste von URLs gefolgt wird, um Text für das Training von Modellen zu sammeln, Suchindizes aufzubauen oder einer Anwendung frische Inhalte zum Abrufen zu geben.
Auch: crawler, web scraping
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Viele KI-Anwendungen brauchen aktuelle Webinhalte: ein Support-Bot, der die Produktdokumentation kennt, ein Recherche-Agent oder ein Datensatz für das Pretraining. Crawling ist der Weg, diese Inhalte in großem Umfang zu sammeln.
So funktioniert es
Ein Crawler startet bei Seed-URLs, ruft jede Seite ab, extrahiert die Links und fügt neue einer Warteschlange hinzu. Such-Crawler entdecken die meisten URLs auf diese Weise, indem sie Links auf bereits abgerufenen Seiten folgen. Für den KI-Einsatz entfernt der Crawler dann Navigation und Werbung, rendert bei Bedarf JavaScript und wandelt die Seite in sauberen Text oder Markdown um, bereit fürs Chunking. Tools wie Firecrawl und Crawl4AI bündeln diese Schritte.
Crawling und Scraping überschneiden sich. Crawling meint meist das Entdecken und Abrufen vieler Seiten; Scraping meint das Herausziehen bestimmter Felder oder Texte aus einer Seite. Es gibt auch große öffentliche Crawls: Common Crawl veröffentlicht ein freies, offenes Archiv, auf das viele Trainingsdatensätze zurückgreifen.
Regeln und Etikette
Website-Betreiber legen in robots.txt fest, was Crawler abrufen dürfen, definiert durch das Robots Exclusion Protocol. Diese Regeln sind Bitten, keine Zugriffskontrolle, ob sie befolgt werden, liegt also beim Crawler. Manche Sites veröffentlichen außerdem eine llms.txt-Datei, die Modelle auf ihre nützlichsten Seiten hinweist. Crawler von KI-Unternehmen behandelt KI-Crawler. Prüfe die Bedingungen und die urheberrechtliche Lage einer Site, bevor du wiederverwendest, was du sammelst. Der Leitfaden zur Datenaufnahme vergleicht Crawling-Tools.
Verwandte Begriffe
- llms.txt
- llms.txt ist eine vorgeschlagene Konvention, bei der eine Website eine Markdown-Datei veröffentlicht, meist unter /llms.txt, die die Site zusammenfasst und auf ihre nützlichsten Seiten verlinkt, in einer Form, die Sprachmodelle leicht lesen können.
- KI-Crawler
- Ein KI-Crawler (AI Crawler) ist ein automatisierter Bot eines KI-Unternehmens, der Webseiten abruft, um Trainingsdaten zu sammeln, einen KI-Suchindex aufzubauen oder eine Seite live zu laden, wenn ein Nutzer einen Assistenten danach fragt.
- KI-Trainingsdaten
- KI-Trainingsdaten (AI Training Data) sind die Sammlung von Beispielen, aus denen ein Modell lernt, etwa Webtext, Code, Bilder, Transkripte oder gelabelte Paare. Ihre Größe, Qualität, Mischung und Lizenzierung bestimmen, was das Modell kann und wo es scheitert.
- Chunking
- Chunking (Aufteilung in Abschnitte) ist der Schritt, der lange Dokumente in kleinere Passagen zerlegt, bevor sie eingebettet und indexiert werden, damit ein Retrieval-System nur die Teile eines Dokuments finden und zurückgeben kann, die eine Anfrage beantworten.
- Retrieval-Augmented Generation
- Retrieval-Augmented Generation (RAG, abrufgestützte Generierung) ist ein Muster, bei dem ein System zuerst eine Dokumentensammlung nach Passagen durchsucht, die für eine Frage relevant sind, und diese Passagen dann einem Sprachmodell gibt, damit seine Antwort darauf aufbaut.