Was ist Crawl4AI?
Crawl4AI crawlt Webseiten und verwandelt sie in Markdown für Sprachmodelle, RAG-Pipelines und Datensätze. Es steuert über Playwright ein echtes Chromium, sodass auch JavaScript-lastige Seiten gerendert werden, und kann strukturierte Daten per CSS, XPath oder LLM extrahieren, viele URLs gleichzeitig unter einem speicherbewussten Dispatcher crawlen und in einem Stealth-Modus laufen.
Es gibt drei Varianten: eine Python-Bibliothek, einen selbst gehosteten Docker-Server mit Dashboard und MCP-Endpunkt und Crawl4AI Cloud, eine gehostete API mit /scrape, /extract, /search, /serp und /answer. Die Cloud gibt 1.000 kostenlose Credits im Monat, kostenpflichtige Pläne beginnen bei 10 $.
Der Code steht unter Apache 2.0, doch die LICENSE-Datei ergänzt eine Pflicht zur Namensnennung: Öffentliche Nutzungen und Weitergaben müssen UncleCode und das Projekt Crawl4AI nennen.
Lohnt sich Crawl4AI?
Crawl4AI bleibt der Open-Source-Standard, um Webseiten in Markdown zu verwandeln, mit rund 86.100 GitHub-Sternen und einem stetigen Takt von sechs Releases, von v0.9.0 am 18. Juni bis v0.9.5 am 14. Oktober 2026. Seit früheren Berichten hat sich zweierlei geändert: Das Projekt verkauft jetzt eine gehostete API, Crawl4AI Cloud, für die die README kräftig wirbt, und der Docker-Server ist zu seinem Schwachpunkt geworden.
Die Sicherheitsbilanz sollte jeder, der selbst hostet, zuerst lesen. GitHub führt 25 im Jahr 2026 veröffentlichte Advisories, fünf davon kritisch, fast alle gegen den Docker-Server: Remote Code Execution vor der Authentifizierung durch einen Ausbruch aus der Sandbox, RCE durch Injektion von Startargumenten für Chromium, Dateischreibzugriffe per Path Traversal und eine Reihe von Umgehungen des Schutzes gegen Server-Side Request Forgery. Allein die Oktober-Charge brachte sechs weitere, darunter ein Chromium, das mit abgeschalteter TLS-Prüfung gestartet wurde. Die Bibliothek in deinem eigenen Python-Code bietet eine kleinere Angriffsfläche; der Server gehört in ein privates Netz, hinter ein Token und auf das neueste Release.
Auch die Lizenz verdient einen zweiten Blick. Das Repository nennt Apache 2.0, doch die LICENSE-Datei fügt hinzu, dass öffentliche Nutzungen, auch Websites und Kommandozeilenwerkzeuge, UncleCode und Crawl4AI auf einer About-Seite, in einer NOTICE-Datei oder in der Hilfeausgabe nennen müssen. Das ist leichter als die AGPL von Firecrawl, aber Rechtsabteilungen, die Apache 2.0 standardmäßig freigeben, werden es sehen wollen.
Die Qualität der Ausgabe ist gut, braucht aber weiterhin Feinarbeit. Offene Issues melden Markdown, das Überschriftenhierarchie und Tabellen verliert, Browserprozesse, die sich über Wochen auf dem Docker-Pfad /crawl ansammeln, und ein Speicherleck bei wiederholten /md-Aufrufen, das Container abstürzen lässt. Die Arbeit gegen Bot-Schutz liegt beim Selbsthosten bei dir: Stealth-Modus und ein Adapter für einen unerkannten Browser helfen, aber die Proxys kaufst du. Die Cloud übernimmt Bot-Sperren und berechnet ISP-Proxys mit dem 2-fachen und Residential-Proxys mit dem 4-fachen der Basis-Credits.
Im Vergleich zu Firecrawl ist die Abwägung jetzt klarer. Beide haben einen offenen Kern und eine gehostete API mit 1.000 kostenlosen Credits; die Cloud von Firecrawl ist älter, veröffentlicht vollständige Preise und beansprucht SOC 2 Type II, während die von Crawl4AI ein Soft Launch ist, dessen Preise pro Endpunkt live geladen werden und sich ändern können. Zum Selbsthosten lässt sich die Bibliothek von Crawl4AI viel leichter in einen einzelnen Python-Job einbauen als der Stack aus mehreren Diensten von Firecrawl.
Wo es sich lohnt
Ein Data Engineer, der jede Nacht einen RAG-Index aus 5.000 Dokumentationsseiten auffrischt
Herstellerdokumentation neu crawlen und sauberes Markdown in einen Vector Store schieben
Rufe arun_many aus einem geplanten Python-Job mit dem speicheradaptiven Dispatcher auf; es fallen keine Gebühren pro Seite an, nur die VM. Fixiere die Version und prüfe bei jedem Upgrade erneut die Liste der Advisories.
Ein Plattformteam, das internen Agenten Webzugriff bietet
Einen gemeinsamen Crawl-Dienst betreiben, den Agenten über MCP erreichen
Betreibe das Docker-Image auf Port 11235 mit --shm-size=1g in einem privaten Subnetz hinter einem Token und richte die Agenten auf seinen MCP-Endpunkt. Plane Zeit für Patches ein: 2026 kamen 25 Advisories, meist für diesen Server.
Ein Start-up aus zwei Leuten, in dem sich niemand um Proxys kümmern kann
Bot-geschützte Shops für einen Preis-Tracker scrapen
Der Starter-Plan von Crawl4AI Cloud für 10 $ im Monat gibt 10.000 Credits, 120 Anfragen pro Minute und 10 gleichzeitig; Residential-Proxys kosten das 4-fache des Basistarifs. Die Preise sind als Soft Launch gekennzeichnet, also meide lange Bindungen.
Bevor du dich festlegst
- Einrichtung
- pip install -U crawl4ai, dann crawl4ai-setup, um Chromium zu installieren; Python 3.10 oder neuer. Der Docker-Server ist ein einzelnes docker run mit Port 11235 und --shm-size=1g und enthält Dashboard und Playground. Die erste Seite als Markdown dauert Minuten.
- Integrationen
- Asynchrone Python-API (AsyncWebCrawler, arun_many), ein REST-Server in Docker mit MCP und die Cloud-Endpunkte /scrape, /extract, /search, /serp und /answer mit gehosteter MCP-URL für Claude Code, Codex, Cursor und OpenCode. Die LLM-Extraktion nutzt den Schlüssel eines beliebigen Anbieters, den du angibst.
- Daten und Datenschutz
- Selbst gehostet gehen Seiten nur dorthin, wohin du sie schickst, und die README erwähnt keine Telemetrie. Die Cloud speichert Anfrageparameter und Zusammenfassungen der Ergebnisse 90 Tage lang, cacht abgerufene Seiten und lässt dich die Regionen EU, Singapur oder USA festlegen. Die LICENSE verlangt Namensnennung bei öffentlicher Nutzung.
- Kosten im großen Maßstab
- Selbst gehostet kosten die VM und eventuelle Proxys; eine offizielle Dimensionierung gibt es nicht. Cloud Starter kostet 10 $ im Monat für 10.000 Credits; zusätzliche Credits kosten 10 $ bis 1.000 $ zum Tarif des Plans und verfallen nie, und 5xx-Fehler werden nicht berechnet.
- Grenzen
- 278 offene Issues und Pull Requests; gemeldete Speicherlecks und sich ansammelnde Browserprozesse auf dem Docker-Server; Markdown kann die Tabellenstruktur verlieren; die Docker-API hinkt den Funktionen der Bibliothek hinterher, ein offenes Issue verfolgt den Gleichstand.
Was gut ist
- Code unter Apache 2.0, als Python-Bibliothek einbettbar
- Selbst gehostet keine Kosten pro Seite
- Speicheradaptives paralleles Crawlen und Stealth-Modus
- Gehostete Cloud mit MCP, ab 10 $ im Monat
Was nicht
- 25 Security Advisories im Jahr 2026, fünf kritisch, meist gegen den Docker-Server
- LICENSE ergänzt eine verpflichtende Klausel zur Namensnennung
- Proxys und Arbeit gegen Bot-Schutz liegen beim Selbsthosten bei dir
- Cloud-Preise sind ein Soft Launch und können sich ändern
Am besten für
Python-Teams, die einen selbst gehosteten Crawler für RAG oder Agenten ohne Kosten pro Seite wollen.
Alternativen zu Crawl4AI
Crawl4AI: häufige Fragen
- Lohnt sich Crawl4AI?
- Weiterhin der stärkste offene Crawler für LLM-Pipelines, doch die Sicherheitsbilanz des Docker-Servers im Jahr 2026 verbietet es, ihn ohne Härtung offen zu betreiben. Wir bewerten es mit 4.2 von 5.
- Was kostet Crawl4AI?
- Bibliothek und Docker-Server kostenlos (Apache 2.0 plus Klausel zur Namensnennung). Crawl4AI Cloud: 1.000 kostenlose Credits im Monat; Starter 10 $ im Monat für 10.000 Credits.
- Welche Nachteile hat Crawl4AI?
- 25 Security Advisories im Jahr 2026, fünf kritisch, meist gegen den Docker-Server; LICENSE ergänzt eine verpflichtende Klausel zur Namensnennung; Proxys und Arbeit gegen Bot-Schutz liegen beim Selbsthosten bei dir; Cloud-Preise sind ein Soft Launch und können sich ändern.
- Für wen eignet sich Crawl4AI?
- Python-Teams, die einen selbst gehosteten Crawler für RAG oder Agenten ohne Kosten pro Seite wollen.
- Was kostet Crawl4AI für ein Team oder im Produktivbetrieb?
- Selbst gehostet kosten die VM und eventuelle Proxys; eine offizielle Dimensionierung gibt es nicht. Cloud Starter kostet 10 $ im Monat für 10.000 Credits; zusätzliche Credits kosten 10 $ bis 1.000 $ zum Tarif des Plans und verfallen nie, und 5xx-Fehler werden nicht berechnet.
- Ist Crawl4AI sicher für Firmendaten?
- Selbst gehostet gehen Seiten nur dorthin, wohin du sie schickst, und die README erwähnt keine Telemetrie. Die Cloud speichert Anfrageparameter und Zusammenfassungen der Ergebnisse 90 Tage lang, cacht abgerufene Seiten und lässt dich die Regionen EU, Singapur oder USA festlegen. Die LICENSE verlangt Namensnennung bei öffentlicher Nutzung.
- Was sind die besten Alternativen zu Crawl4AI?
- Die nächsten Alternativen, die wir getestet haben, sind Firecrawl, Browser Use und Obscura.
Antworten geprüft am 26. Okt. 2026.