Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-Crawler

Ein KI-Crawler (AI Crawler) ist ein automatisierter Bot eines KI-Unternehmens, der Webseiten abruft, um Trainingsdaten zu sammeln, einen KI-Suchindex aufzubauen oder eine Seite live zu laden, wenn ein Nutzer einen Assistenten danach fragt.

Auch: GPTBot, ClaudeBot, PerplexityBot, AI bot

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Website-Betreiber sehen in ihren Server-Logs zunehmend Bots wie GPTBot, ClaudeBot und PerplexityBot. Jeder gibt sich mit einem User-Agent-String zu erkennen, und wer weiß, welcher welcher ist, entscheidet, ob die Inhalte einer Seite Modelle trainieren, in KI-Antworten erscheinen oder keins von beidem.

Drei Arten von Bots

KI-Unternehmen trennen ihre Bots meist nach Zweck. Trainings-Crawler wie GPTBot von OpenAI und ClaudeBot von Anthropic sammeln Seiten, die in KI-Trainingsdaten eingehen können. Such-Crawler wie OAI-SearchBot, Claude-SearchBot und PerplexityBot indexieren Seiten, damit eine KI-Suchmaschine sie zitieren kann. Von Nutzern ausgelöste Abrufer wie ChatGPT-User und Claude-User laden eine einzelne Seite, wenn eine Person den Assistenten bittet, sie zu lesen. OpenAI weist darauf hin, dass robots.txt-Regeln für von Nutzern ausgelöste Abrufe womöglich nicht gelten.

Zugriff steuern

Das wichtigste Steuerungsmittel ist robots.txt. Eine Regel wie `User-agent: GPTBot` gefolgt von `Disallow: /` bittet diesen Bot, fernzubleiben, und jeder Bot wird einzeln eingestellt, sodass eine Seite Training blockieren und Suche erlauben kann. Laut OpenAI signalisiert ein Ausschluss von GPTBot, dass Inhalte nicht für das Training genutzt werden sollen. Das Robots Exclusion Protocol ist eine Bitte, keine Zugriffskontrolle, für Crawler, die es ignorieren, braucht es also Firewalls oder Bot-Management. Eine llms.txt-Datei ist eine eigene Idee: Sie weist Modelle auf nützliche Seiten hin, blockiert aber nichts.

Warum es wichtig ist

Wer Such-Crawler blockiert, kann eine Seite aus KI-Antworten heraushalten, was die Generative Engine Optimization betrifft. Wer Trainings-Crawler blockiert, beeinflusst nur künftige Trainingsläufe. Unter Web-Crawling für KI steht, wie Crawler allgemein funktionieren.

Verwandte Begriffe

Web-Crawling für KI
Web-Crawling für KI ist das automatisierte Abrufen von Webseiten, indem Links oder einer Liste von URLs gefolgt wird, um Text für das Training von Modellen zu sammeln, Suchindizes aufzubauen oder einer Anwendung frische Inhalte zum Abrufen zu geben.
llms.txt
llms.txt ist eine vorgeschlagene Konvention, bei der eine Website eine Markdown-Datei veröffentlicht, meist unter /llms.txt, die die Site zusammenfasst und auf ihre nützlichsten Seiten verlinkt, in einer Form, die Sprachmodelle leicht lesen können.
KI-Trainingsdaten
KI-Trainingsdaten (AI Training Data) sind die Sammlung von Beispielen, aus denen ein Modell lernt, etwa Webtext, Code, Bilder, Transkripte oder gelabelte Paare. Ihre Größe, Qualität, Mischung und Lizenzierung bestimmen, was das Modell kann und wo es scheitert.
KI-Suchmaschine
Eine KI-Suchmaschine (AI Search Engine) ist ein Suchdienst, der zu einer Anfrage Websuchen ausführt, die Ergebnisse mit einem Sprachmodell liest und eine geschriebene Antwort mit Links zu ihren Quellen liefert, statt nur einer Liste von Links.
Generative Engine Optimization
Generative Engine Optimization (GEO) ist die Praxis, Webinhalte so zu gestalten, dass KI-Suchmaschinen und Chat-Assistenten sie finden, zitieren und in ihren generierten Antworten als Quelle angeben.

Quellen