KI-Crawler
Ein KI-Crawler (AI Crawler) ist ein automatisierter Bot eines KI-Unternehmens, der Webseiten abruft, um Trainingsdaten zu sammeln, einen KI-Suchindex aufzubauen oder eine Seite live zu laden, wenn ein Nutzer einen Assistenten danach fragt.
Auch: GPTBot, ClaudeBot, PerplexityBot, AI bot
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Website-Betreiber sehen in ihren Server-Logs zunehmend Bots wie GPTBot, ClaudeBot und PerplexityBot. Jeder gibt sich mit einem User-Agent-String zu erkennen, und wer weiß, welcher welcher ist, entscheidet, ob die Inhalte einer Seite Modelle trainieren, in KI-Antworten erscheinen oder keins von beidem.
Drei Arten von Bots
KI-Unternehmen trennen ihre Bots meist nach Zweck. Trainings-Crawler wie GPTBot von OpenAI und ClaudeBot von Anthropic sammeln Seiten, die in KI-Trainingsdaten eingehen können. Such-Crawler wie OAI-SearchBot, Claude-SearchBot und PerplexityBot indexieren Seiten, damit eine KI-Suchmaschine sie zitieren kann. Von Nutzern ausgelöste Abrufer wie ChatGPT-User und Claude-User laden eine einzelne Seite, wenn eine Person den Assistenten bittet, sie zu lesen. OpenAI weist darauf hin, dass robots.txt-Regeln für von Nutzern ausgelöste Abrufe womöglich nicht gelten.
Zugriff steuern
Das wichtigste Steuerungsmittel ist robots.txt. Eine Regel wie `User-agent: GPTBot` gefolgt von `Disallow: /` bittet diesen Bot, fernzubleiben, und jeder Bot wird einzeln eingestellt, sodass eine Seite Training blockieren und Suche erlauben kann. Laut OpenAI signalisiert ein Ausschluss von GPTBot, dass Inhalte nicht für das Training genutzt werden sollen. Das Robots Exclusion Protocol ist eine Bitte, keine Zugriffskontrolle, für Crawler, die es ignorieren, braucht es also Firewalls oder Bot-Management. Eine llms.txt-Datei ist eine eigene Idee: Sie weist Modelle auf nützliche Seiten hin, blockiert aber nichts.
Warum es wichtig ist
Wer Such-Crawler blockiert, kann eine Seite aus KI-Antworten heraushalten, was die Generative Engine Optimization betrifft. Wer Trainings-Crawler blockiert, beeinflusst nur künftige Trainingsläufe. Unter Web-Crawling für KI steht, wie Crawler allgemein funktionieren.
Verwandte Begriffe
- Web-Crawling für KI
- Web-Crawling für KI ist das automatisierte Abrufen von Webseiten, indem Links oder einer Liste von URLs gefolgt wird, um Text für das Training von Modellen zu sammeln, Suchindizes aufzubauen oder einer Anwendung frische Inhalte zum Abrufen zu geben.
- llms.txt
- llms.txt ist eine vorgeschlagene Konvention, bei der eine Website eine Markdown-Datei veröffentlicht, meist unter /llms.txt, die die Site zusammenfasst und auf ihre nützlichsten Seiten verlinkt, in einer Form, die Sprachmodelle leicht lesen können.
- KI-Trainingsdaten
- KI-Trainingsdaten (AI Training Data) sind die Sammlung von Beispielen, aus denen ein Modell lernt, etwa Webtext, Code, Bilder, Transkripte oder gelabelte Paare. Ihre Größe, Qualität, Mischung und Lizenzierung bestimmen, was das Modell kann und wo es scheitert.
- KI-Suchmaschine
- Eine KI-Suchmaschine (AI Search Engine) ist ein Suchdienst, der zu einer Anfrage Websuchen ausführt, die Ergebnisse mit einem Sprachmodell liest und eine geschriebene Antwort mit Links zu ihren Quellen liefert, statt nur einer Liste von Links.
- Generative Engine Optimization
- Generative Engine Optimization (GEO) ist die Praxis, Webinhalte so zu gestalten, dass KI-Suchmaschinen und Chat-Assistenten sie finden, zitieren und in ihren generierten Antworten als Quelle angeben.