Was ist Ragas?
Ragas ist eine Python-Bibliothek zur Evaluierung von Retrieval-Augmented-Generation-Anwendungen (RAG), bei denen ein Modell aus abgerufenen Dokumenten antwortet. Die Entwicklung ist praktisch eingestellt: Das letzte Release, v0.4.3, erschien am 13. Januar 2026, der letzte Commit kam am 24. Februar 2026, und seitdem eröffnete Pull Requests aus der Community wurden nicht gemergt. Die GitHub-Organisation zog von explodinggradients zu vibrantlabsai um, und Vibrant Labs beschreibt sich inzwischen als Forschungslabor, das Reinforcement-Learning-Daten für Agenten verkauft.
Die Bibliothek bietet Metriken wie Faithfulness, Answer Relevancy und Context Precision, bei denen meist ein Judge-Modell jede Stichprobe bewertet, dazu eigene LLM-bewertete Metriken und die Generierung synthetischer Testsets. Sie lässt sich mit LangChain, LlamaIndex, Haystack und Modellen über Amazon Bedrock verbinden.
Genutzt wird sie weiterhin stark: PyPI verzeichnete in dem Monat bis zum 23. Oktober 2026 rund 1,05 Millionen Downloads.
Lohnt sich Ragas?
Ragas ist inzwischen eine Bibliothek, die man weiterbetreibt, nicht eine, die man neu einführt. Ihre Definitionen von Faithfulness und Context Precision werden in Tutorials und Konkurrenzwerkzeugen zitiert, und sie kommt noch immer auf rund eine Million PyPI-Downloads im Monat, aber niemand steuert sie. Der letzte Commit war am 24. Februar 2026, rund 250 Pull Requests sind offen, und ein am 9. Oktober 2026 eröffnetes Issue mit dem Titel "This project is not maintained anymore" hat keine Antwort.
Die offenen Pull Requests zeigen, woran Nutzer scheitern. Mehrere beheben, dass Answer Relevancy mit synchronen Embedding-Aufrufen die asynchrone Event-Loop blockiert, was während evaluate() unbeteiligte Tasks aufhält; andere beheben Few-Shot-Schwellenwerte, die stillschweigend ignoriert wurden, und Bedrock-IDs für Reasoning-Modelle, die nicht zugeordnet waren. Jeder davon ist ein Patch, den du aus einem Fork einspielen müsstest.
Bei großem Volumen zählt das Kostenmodell. Die meisten Ragas-Metriken werden von einem LLM bewertet, jede Stichprobe löst also einen oder mehrere Modellaufrufe aus, und die Scores können zwischen Läufen und zwischen Judge-Modellen schwanken. Ein Team, das jede Nacht Tausende Stichproben bewertet, zahlt API-Gebühren und schluckt diese Schwankung, statt eine kostenlose Testsuite laufen zu lassen.
Die Telemetrie ist das Detail, das die meisten übersehen. Ragas sendet standardmäßig anonyme Nutzungsereignisse an einen Endpunkt von explodinggradients.com, und abschalten lässt sich das über eine Umgebungsvariable, RAGAS_DO_NOT_TRACK=true. In einer regulierten Umgebung sollte sie vor dem ersten Lauf gesetzt sein, was auch immer du sonst über die Bibliothek entscheidest.
Wo es sich lohnt
Ein ML-Engineer in einem Team mit fünf Leuten, dessen Ragas-Suite schon in der CI läuft
Nächtliche RAG-Regressionsscores vergleichbar halten, während die Entscheidung über eine Migration fällt
Pinne ragas==0.4.3, setze RAGAS_DO_NOT_TRACK=true und leg das Judge-Modell fest, damit die Scores vergleichbar bleiben. Die Kosten sind die API-Aufrufe ans Judge-Modell pro Stichprobe; das Risiko ist, Fixes für Bugs wie die blockierte Event-Loop in Answer Relevancy selbst mitzutragen.
Eine Forscherin, die den Evaluierungsteil eines RAG-Papers schreibt
Faithfulness und Context Precision nach Definitionen berichten, die Gutachter kennen
Die Metrikdefinitionen von Ragas werden viel zitiert, für eine einmalige Studie braucht ihre Verwendung also kaum Begründung. Halte Version und Judge-Modell fest, denn LLM-bewertete Scores verändern sich mit beidem.
Ein Head of AI bei einem Versicherer mit 200 Leuten, der einen Evaluierungs-Stack auswählt
Eine Eval-Bibliothek wählen, auf die sich das Team die nächsten zwei Jahre verlassen kann
Ragas kostet keine Lizenzgebühren, aber ohne Maintainer fällt jeder Bugfix und jedes Modell-Update deinem Team zu. DeepEval oder promptfoo bieten dieselben RAG-Metriken mit aktiven Releases.
Bevor du dich festlegst
- Einrichtung
- pip install ragas unter Python 3.9 oder neuer, dazu ein API-Key für ein Judge-Modell; ragas quickstart rag_eval legt in wenigen Minuten ein Beispielprojekt an.
- Integrationen
- Wrapper für LangChain, LlamaIndex und Haystack, Modelle von OpenAI, Anthropic, Google und Bedrock über llm_factory sowie das Nachrichtenformat AG-UI.
- Daten und Datenschutz
- Apache 2.0. Anonyme Nutzungstelemetrie ist standardmäßig an und geht an t.explodinggradients.com; setze RAGAS_DO_NOT_TRACK=true, um sie zu stoppen. Deine Stichproben gehen an die API des Judge-Modells, die du konfigurierst. Keine veröffentlichten Sicherheits-Advisories.
- Kosten im großen Maßstab
- Die Bibliothek ist kostenlos, und eine kostenpflichtige Edition gibt es nicht. Die echten Kosten sind Tokens für das Judge-Modell: LLM-bewertete Metriken machen mindestens einen Modellaufruf pro Stichprobe, eine große nächtliche Suite ist also eine API-Rechnung.
- Grenzen
- 634 offene Issues und Pull Requests, seit Februar 2026 keiner gemergt; bekannte Bugs sind unter anderem synchrone Embedding-Aufrufe, die in Answer Relevancy die Event-Loop blockieren. Es gibt nur die Quickstart-Vorlage rag_eval; Agenten-Vorlagen sind als demnächst verfügbar gelistet.
Was gut ist
- Viel zitierte Definitionen von Faithfulness und Context Precision
- Generierung synthetischer Testsets aus deinen Dokumenten
- Integrationen mit LangChain, LlamaIndex und Haystack
- Apache-2.0-Lizenz
Was nicht
- Keine Commits seit dem 24. Februar 2026; rund 250 nicht gemergte Pull Requests
- Nutzungstelemetrie standardmäßig an
- LLM-bewertete Scores schwanken zwischen Läufen und Judge-Modellen
- API-Änderungen zwischen Versionen haben viele Beispiele im Netz unbrauchbar gemacht
Am besten für
Teams mit einer bestehenden Ragas-Suite, die eine Version pinnen und eigene Fixes mittragen können.
Alternativen zu Ragas
Ragas: häufige Fragen
- Lohnt sich Ragas?
- Ihre Metriknamen wurden zum Vokabular der RAG-Evaluierung, aber der Code steht ohne Maintainer da. Wir bewerten es mit 3.4 von 5.
- Was kostet Ragas?
- Kostenlos und Open Source unter der Apache-2.0-Lizenz. Du bezahlst die API-Aufrufe an das Judge-Modell, die jede Metrik auslöst.
- Welche Nachteile hat Ragas?
- Keine Commits seit dem 24. Februar 2026; rund 250 nicht gemergte Pull Requests; Nutzungstelemetrie standardmäßig an; LLM-bewertete Scores schwanken zwischen Läufen und Judge-Modellen; API-Änderungen zwischen Versionen haben viele Beispiele im Netz unbrauchbar gemacht.
- Für wen eignet sich Ragas?
- Teams mit einer bestehenden Ragas-Suite, die eine Version pinnen und eigene Fixes mittragen können.
- Was kostet Ragas für ein Team oder im Produktivbetrieb?
- Die Bibliothek ist kostenlos, und eine kostenpflichtige Edition gibt es nicht. Die echten Kosten sind Tokens für das Judge-Modell: LLM-bewertete Metriken machen mindestens einen Modellaufruf pro Stichprobe, eine große nächtliche Suite ist also eine API-Rechnung.
- Ist Ragas sicher für Firmendaten?
- Apache 2.0. Anonyme Nutzungstelemetrie ist standardmäßig an und geht an t.explodinggradients.com; setze RAGAS_DO_NOT_TRACK=true, um sie zu stoppen. Deine Stichproben gehen an die API des Judge-Modells, die du konfigurierst. Keine veröffentlichten Sicherheits-Advisories.
- Was sind die besten Alternativen zu Ragas?
- Die nächsten Alternativen, die wir getestet haben, sind DeepEval und promptfoo.
Antworten geprüft am 26. Okt. 2026.