Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Web-Crawling für KI

Web-Crawling für KI ist das automatisierte Abrufen von Webseiten, indem Links oder einer Liste von URLs gefolgt wird, um Text für das Training von Modellen zu sammeln, Suchindizes aufzubauen oder einer Anwendung frische Inhalte zum Abrufen zu geben.

Auch: crawler, web scraping

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Viele KI-Anwendungen brauchen aktuelle Webinhalte: ein Support-Bot, der die Produktdokumentation kennt, ein Recherche-Agent oder ein Datensatz für das Pretraining. Crawling ist der Weg, diese Inhalte in großem Umfang zu sammeln.

So funktioniert es

Ein Crawler startet bei Seed-URLs, ruft jede Seite ab, extrahiert die Links und fügt neue einer Warteschlange hinzu. Such-Crawler entdecken die meisten URLs auf diese Weise, indem sie Links auf bereits abgerufenen Seiten folgen. Für den KI-Einsatz entfernt der Crawler dann Navigation und Werbung, rendert bei Bedarf JavaScript und wandelt die Seite in sauberen Text oder Markdown um, bereit fürs Chunking. Tools wie Firecrawl und Crawl4AI bündeln diese Schritte.

Crawling und Scraping überschneiden sich. Crawling meint meist das Entdecken und Abrufen vieler Seiten; Scraping meint das Herausziehen bestimmter Felder oder Texte aus einer Seite. Es gibt auch große öffentliche Crawls: Common Crawl veröffentlicht ein freies, offenes Archiv, auf das viele Trainingsdatensätze zurückgreifen.

Regeln und Etikette

Website-Betreiber legen in robots.txt fest, was Crawler abrufen dürfen, definiert durch das Robots Exclusion Protocol. Diese Regeln sind Bitten, keine Zugriffskontrolle, ob sie befolgt werden, liegt also beim Crawler. Manche Sites veröffentlichen außerdem eine llms.txt-Datei, die Modelle auf ihre nützlichsten Seiten hinweist. Crawler von KI-Unternehmen behandelt KI-Crawler. Prüfe die Bedingungen und die urheberrechtliche Lage einer Site, bevor du wiederverwendest, was du sammelst. Der Leitfaden zur Datenaufnahme vergleicht Crawling-Tools.

Verwandte Begriffe

llms.txt
llms.txt ist eine vorgeschlagene Konvention, bei der eine Website eine Markdown-Datei veröffentlicht, meist unter /llms.txt, die die Site zusammenfasst und auf ihre nützlichsten Seiten verlinkt, in einer Form, die Sprachmodelle leicht lesen können.
KI-Crawler
Ein KI-Crawler (AI Crawler) ist ein automatisierter Bot eines KI-Unternehmens, der Webseiten abruft, um Trainingsdaten zu sammeln, einen KI-Suchindex aufzubauen oder eine Seite live zu laden, wenn ein Nutzer einen Assistenten danach fragt.
KI-Trainingsdaten
KI-Trainingsdaten (AI Training Data) sind die Sammlung von Beispielen, aus denen ein Modell lernt, etwa Webtext, Code, Bilder, Transkripte oder gelabelte Paare. Ihre Größe, Qualität, Mischung und Lizenzierung bestimmen, was das Modell kann und wo es scheitert.
Chunking
Chunking (Aufteilung in Abschnitte) ist der Schritt, der lange Dokumente in kleinere Passagen zerlegt, bevor sie eingebettet und indexiert werden, damit ein Retrieval-System nur die Teile eines Dokuments finden und zurückgeben kann, die eine Anfrage beantworten.
Retrieval-Augmented Generation
Retrieval-Augmented Generation (RAG, abrufgestützte Generierung) ist ein Muster, bei dem ein System zuerst eine Dokumentensammlung nach Passagen durchsucht, die für eine Frage relevant sind, und diese Passagen dann einem Sprachmodell gibt, damit seine Antwort darauf aufbaut.

Quellen