Schritt 01 von 22
Ingestion und Crawling
Inhalte aus Websites, Dateien, Apps und Datenbanken holen. Ein Modell ist nur so aktuell wie die Daten, die du ihm gibst. Die Ingestion entscheidet, was dein System weiß und wie frisch es bleibt.
Von Sheela · Geprüft am 19. Okt. 2026 · So testen wir
So triffst du die Wahl
- Öffentliche Websites crawlen: Ein Crawler, der sauberes Markdown liefert, spart einen Parsing-Schritt.
- Interne Apps und Laufwerke: Nimm lieber Connectoren mit inkrementeller Synchronisierung als vollständige Neuimporte.
- Halte dich an robots.txt und die Nutzungsbedingungen der Website; crawle nur, was du darfst.
Worauf du achten solltest
Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.
01
Das Tool danach wählen, wo die Daten liegen
Öffentliche Websites, Dateien auf einem Laufwerk und Datensätze in SaaS-Apps brauchen verschiedene Tools. Crawler (Firecrawl, Crawl4AI, Jina Reader) lesen Webseiten; Connector-Plattformen (Airbyte) rufen APIs von Apps und Datenbanken auf; Dokumentbibliotheken (Unstructured) lesen Dateien, die du schon hast. Die meisten RAG-Systeme brauchen zwei davon, liste also deine Quellen auf, bevor du Funktionen vergleichst.
02
Saubere Ausgabe, nicht nur abgerufenes HTML
Entscheidend ist, wie viel Navigation, Cookie-Banner und Fußzeilentext im Markdown übrig bleibt, denn jede übrig gebliebene Zeile wird eingebettet und kann abgerufen werden. Lass jeden Kandidaten über zehn deiner eigenen Zielseiten laufen und lies die Ausgabe. Selektor-Optionen (dieses Element behalten, jenes verwerfen) lösen meist mehr als ein Toolwechsel.
03
Inkrementelle Updates und Erkennung von Änderungen
Jede Nacht alles neu zu crawlen oder zu importieren ist langsam, teuer und wirbelt deinen Vektorindex durcheinander. Nimm lieber Tools, die nur geänderte Datensätze synchronisieren (die inkrementellen Syncs von Airbyte) oder mit denen du Crawls planen und vergleichen kannst. Frag, wie Löschungen behandelt werden: Eine an der Quelle entfernte Seite oder ein entfernter Datensatz sollte auch aus deinem Index verschwinden.
04
JavaScript-Rendering und Sperren
Viele moderne Websites rendern Inhalte mit JavaScript und blockieren unbekannten Traffic. Open-Source-Crawler rendern Seiten mit einem Headless-Browser, überlassen Proxys und Anti-Bot-Maßnahmen aber dir; gehostete Dienste (Firecrawl Cloud, Apify) verkaufen diese Schicht. Wenn deine Ziele deine eigene Dokumentation oder freundlich gesinnte Websites sind, musst du dafür nicht bezahlen.
05
Das Kostenmodell bei deinem Volumen
Die Preiseinheiten unterscheiden sich: Credits pro Seite (Firecrawl), Ausgabe-Tokens (Jina Reader), Compute Units plus Gebühren pro Actor (Apify), LLM-Tokens pro Seite (ScrapeGraphAI) oder Sync-Credits (Airbyte). Multipliziere mit deiner echten Seitenzahl und Aktualisierungsrate. Extraktion per LLM kostet pro Seite weit mehr als eine einfache Umwandlung in Markdown, nutze sie also nur für Seiten, bei denen du typisierte Felder brauchst.
06
Lizenz und Grenzen beim Selbsthosten
Die Open-Source-Lizenzen hier unterscheiden sich auf Weisen, die kommerziell zählen. Firecrawl steht unter AGPL-3.0 und behält seine Anti-Bot-Funktionen in der Cloud; Airbyte mischt MIT und ELv2, was den Weiterverkauf als gehosteten Dienst verbietet; Crawl4AI und ScrapeGraphAI sind freizügig. Prüfe, welche Funktionen die selbst gehostete Version tatsächlich enthält, bevor du planst, sie selbst zu betreiben.
07
Erlaubnis und Herkunft
Halte dich an robots.txt und die Nutzungsbedingungen der Websites und speichere bei jedem Datensatz die Quell-URL und das Abrufdatum, damit du ihn später zitieren, aktualisieren oder löschen kannst. Es gibt keinen neutralen öffentlichen Benchmark für Crawler; Diagramme zu Geschwindigkeit und Erfolgsquote auf den Seiten der Anbieter stammen von den Anbietern selbst, behandle sie also als Behauptungen.
Wie sich die Optionen unterscheiden
Die Optionen fallen in vier Familien. Web-Crawler und Reader (Firecrawl, Crawl4AI, Jina Reader) rufen öffentliche Seiten ab und liefern Markdown; sie unterscheiden sich vor allem darin, ob du sie selbst betreibst und wer sich um Proxys und Sperren kümmert. Scraping-Plattformen (Apify) betreiben fertige, auf bestimmte Websites zugeschnittene Scraper in ihrer Cloud und liefern strukturierte Datensätze, was zu großen, gut geschützten Websites passt, aber pro Lauf abgerechnet wird.
Connector-Plattformen (Airbyte) holen Daten aus SaaS-Apps und Datenbanken über deren APIs mit geplanten, inkrementellen Syncs, die richtige Wahl, wenn dein Wissen in einem CRM oder Ticketsystem liegt statt im Web. Dokument- und Extraktionsbibliotheken liegen an den Rändern: Unstructured verwandelt Dateien, die du schon hast, in typisierte Elemente, während ScrapeGraphAI ein LLM nutzt, um bestimmte Felder aus Seiten zu ziehen, was bei kleinen Aufgaben genau und bei Massen-Ingestion teuer ist.
9 Tools im Vergleich
Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.
| Tool | Bewertung | Unser Fazit | Ideal für | Preis |
|---|---|---|---|---|
| Recall.aiTool | 4.3/5 | Recall.ai ist der vernünftige Weg, Meeting-Aufnahmen in dein Produkt zu holen, denn Bots für sechs Videoplattformen selbst zu bauen und zu pflegen, ist eine Arbeit, die nie fertig wird. | Produktteams, die Notizprogramme, Sales-Coaching, Interview- oder CRM-Funktionen bauen und dafür Aufnahmen aus den Videocalls ihrer Kunden brauchen. | Pay as you go 0,50 $ pro Stunde Aufnahme (erste 5 Stunden kostenlos); eingebaute Transkription 0,15 $ pro Stunde; 7 Tage kostenlose Speicherung, danach 0,05 $ pro aufbewahrter Stunde für 30 Tage; Startup-Programm 0,25 $ pro Stunde für die ersten 10.000 Stunden. Launch und Enterprise individuell. |
| FirecrawlRepo | 4.2/5 | Eine gehostete Web-Schicht für Agenten, die ihr Geld wert ist; die Open-Source-Ausgabe ist ein Ausgangspunkt, kein Ersatz. | Entwickler, die eine verwaltete API wollen, um Websites in LLM-taugliche Daten zu verwandeln. | Open Source unter AGPL-3.0. Cloud: Free 1.000 Credits/Monat; Hobby 19 $, Standard 99 $, Growth 399 $, Scale 749 $ im Monat; Enterprise individuell. |
| Crawl4AIRepo | 4.2/5 | Weiterhin der stärkste offene Crawler für LLM-Pipelines, doch die Sicherheitsbilanz des Docker-Servers im Jahr 2026 verbietet es, ihn ohne Härtung offen zu betreiben. | Python-Teams, die einen selbst gehosteten Crawler für RAG oder Agenten ohne Kosten pro Seite wollen. | Bibliothek und Docker-Server kostenlos (Apache 2.0 plus Klausel zur Namensnennung). Crawl4AI Cloud: 1.000 kostenlose Credits im Monat; Starter 10 $ im Monat für 10.000 Credits. |
| ApifyTool | 4.1/5 | Apify macht das Scraping großer, gut geschützter Plattformen zur Konfigurationsfrage statt zur Ingenieursarbeit, um den Preis einer Rechnung, die niemand vorhersagen kann, bevor der Job läuft. | Teams, die strukturierte Daten von bestimmten großen Websites brauchen und lieber zahlen, als Scraper zu pflegen. | Free-Plan mit 5 $ Nutzung/Monat; Starter 19 $, Scale 199 $, Business 999 $ pro Monat als vorausbezahlte Nutzung (jährlich etwa 10% günstiger); Compute 0,13–0,20 $ pro Unit; Residential-Proxy 7–8 $/GB; Store-Actors extra. |
| Jina ReaderTool | 4.0/5 | Jina Reader macht aus einer URL für Bruchteile eines Cents sauberes Markdown. Damit ist es die richtige Voreinstellung für Agenten, die jeweils eine Seite lesen, und das falsche Werkzeug für alle, die eine ganze Website crawlen müssen. | Entwickler, deren Agent oder Pipeline einzelne Webseiten zu minimalen Kosten als Markdown lesen soll. | Kostenlos ohne Schlüssel mit 20 Anfragen/Minute; Schlüssel enthalten kostenlose Tokens, danach wird nach Ausgabe-Tokens aus einem gemeinsamen Jina-Guthaben abgerechnet (Jinas Leitfaden von 2025 nannte 50 $ für 1 Milliarde Tokens; aktuelle Preise stehen hinter dem Dashboard). Eine Suche kostet mindestens 10.000 Tokens pro Anfrage. Kommerzielle und On-Premises-Lizenzen verkauft Elastic jährlich. |
| AirbyteRepo | 3.9/5 | Airbyte hat den breitesten offenen Katalog, um Geschäftsdaten in einen RAG-Index zu ziehen, aber seine KI-Ziele hinken dem ELT-Kern hinterher, und wer es selbst hostet, ist für seine Sicherheitspatches selbst verantwortlich. | Datenteams, die ein RAG-System aus vielen SaaS-Apps und Datenbanken speisen und inkrementelle Syncs wollen, die sie selbst hosten können. | Das selbst gehostete Core ist kostenlos (MIT und ELv2). Cloud Standard ab 20 $/Monat mit 5 Credits; Plus ab 189 $/Monat für 40 Credits bis 4.999 $ für 2.000; Pro und Enterprise Flex nach Vereinbarung. |
| UnstructuredRepo | 3.8/5 | Immer noch das breiteste Netz für ausgefallene Dateiformate, aber die Macher veröffentlichen inzwischen selbst die Zahlen, die zeigen, warum du stattdessen sie bezahlen solltest. | Teams, die ETL-Pipelines bauen, die viele Dokumentformate für RAG verarbeiten. | Bibliothek kostenlos unter Apache 2.0. Gehostete Plattform: 10.000 Seiten kostenlos, danach 0,015 $ pro Seite; Business-Plan mit VPC oder dediziertem Deployment, Preis auf Anfrage. |
| ObscuraRepo | 3.7/5 | Obscura ist ein vielversprechender Weg, die Speicherrechnung beim Scraping im großen Maßstab zu senken. Aber es ist eine sechs Monate alte Engine mit anonymem Eigentümer und Stealth-Versprechen, und sie gehört hinter deine eigenen Tests, nicht davor. | Scraping- und Agenten-Teams, die für viele Chrome-Instanzen bezahlen und ihre Zielseiten vorher gegen eine Engine testen können, die nicht auf Chromium beruht. | Kostenlos unter Apache-2.0. Obscura Cloud (gehostet, mit Proxies) nur über Warteliste und ohne Preisangabe. |
| ScrapeGraphAIRepo | 3.6/5 | Gut darin, ein paar typisierte Felder aus unordentlichen Seiten zu ziehen, aber es schickt deine gescrapten Inhalte standardmäßig an seine Macher und bezahlt für jede Seite einen Modellaufruf. | Entwickler, die typisierte Felder aus einer überschaubaren Zahl unterschiedlicher Webseiten extrahieren. | Bibliothek kostenlos unter MIT; du bezahlst die LLM-Tokens. Gehostete API: einmalig 500 kostenlose Credits, danach 20 $, 100 $ oder 500 $ im Monat; Enterprise individuell. |
Im direkten Vergleich
Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 19. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.
| Tool | Typ | Liest aus | Ausgabe | Proxys / Anti-Bot | Hosting | Lizenz |
|---|---|---|---|---|---|---|
| Firecrawl | API für Crawling und Scraping | Websites; Websuche | Markdown, JSON | Nur in der Cloud | Cloud; eingeschränktes Selbsthosting | AGPL-3.0 |
| Crawl4AI | Crawler-Bibliothek | Websites | Markdown; Extraktion per CSS/XPath/LLM | Schwach; eigene Proxys mitbringen | Nur selbst gehostet | Apache 2.0 |
| Apify | Scraper-Plattform und Actor Store | Bestimmte Plattformen; jede Website | JSON-Datensätze | Proxys inklusive (kostenpflichtig) | Cloud | Proprietär; Crawlee Apache 2.0 |
| Jina Reader | Reader-API für einzelne Seiten | URLs, PDFs; Websuche (Top 5) | Markdown, JSON | Optionaler Proxy-Header | Cloud-API | Code unter Apache 2.0; gehosteter Dienst |
| Airbyte | Connector- / ELT-Plattform | Mehr als 600 Apps, Datenbanken, Dateien | Zeilen; Chunks und Vektoren | Nicht zutreffend | Selbst gehostet oder Cloud | MIT und ELv2 |
| Unstructured | ETL-Bibliothek für Dokumente | Dateien: PDF, Office, HTML, E-Mail | Typisierte Elemente (JSON) | Nicht zutreffend | Selbst gehostet; kostenpflichtige Plattform | Apache 2.0 |
| ScrapeGraphAI | Bibliothek für Extraktion per LLM | Webseiten, lokale Dateien | JSON-Felder pro Prompt | Keine in der Bibliothek; die kostenpflichtige API hat sie | Selbst gehostet; kostenpflichtige API | MIT |
Verbinde es mit deinem Agenten
MCP-Server, mit denen Assistenten wie Claude, ChatGPT und Cursor diese Tools direkt nutzen können.
Wo diese Stufe hingehört
- Mit deinen Dokumenten chatten: Wir würden mit Firecrawl anfangen.
- Kundensupport-Agent: Wir würden mit Apify anfangen.
- Coding-Agent: Wir würden mit GitHub MCP Server anfangen.
- Recherche und Knowledge Graph: Wir würden mit Crawl4AI anfangen.
- Assistent mit Langzeitgedächtnis: Wir würden mit Unstructured anfangen.
- Pipeline für Bildgenerierung: Wir würden mit Firecrawl anfangen.
- Videoproduktion: Wir würden mit Firecrawl anfangen.
- Sprachagent: Wir würden mit Firecrawl anfangen.
- Private KI auf dem eigenen Gerät: Wir würden mit Unstructured anfangen.
- Dokumentenverarbeitung: Wir würden mit Unstructured anfangen.
- Dein eigenes feinabgestimmtes Modell: Wir würden mit Crawl4AI anfangen.
- Workflow-Automatisierung: Wir würden mit Apify anfangen.