Was ist promptfoo?
promptfoo ist ein Kommandozeilenwerkzeug und eine Bibliothek zum Testen von LLM-Anwendungen. Du beschreibst Prompts, Anbieter und Testfälle in einer YAML-Datei, es führt sie aus und zeigt eine Vergleichsmatrix.
Es beherrscht auch Red Teaming: Es erzeugt feindliche Eingaben, um Prompt Injection, Jailbreaks, Datenlecks und unsichere Tool-Nutzung aufzuspüren. Es funktioniert mit Modellen von OpenAI, Anthropic, Google und Open-Source-Anbietern und passt in CI-Pipelines.
Am 9. März 2026 gab OpenAI bekannt, die Übernahme von promptfoo vereinbart zu haben, um dessen Technik in OpenAI Frontier einzubauen, seine Agentenplattform für Unternehmen, und erklärte, das Projekt bleibe unter seiner bisherigen MIT-Lizenz Open Source. Auf der About-Seite von promptfoo heißt es inzwischen, das Unternehmen gehöre zu OpenAI; ein Abschlussdatum wurde nicht veröffentlicht. Eine öffentliche Mitteilung über den Abschluss des Geschäfts haben wir nicht gefunden.
Lohnt sich promptfoo?
promptfoo ist der kürzeste Weg von keinen LLM-Tests zu Tests in der CI, und im März 2026 stimmte es der Übernahme durch OpenAI zu, dessen Modelle viele Teams damit bewerten. Es hat rund 26.500 GitHub-Sterne, das npm-Paket erreichte am 25. Oktober 2026 Version 0.125.1, und die eigene Website von promptfoo sagt inzwischen, es gehöre zu OpenAI. Die Einrichtung besteht aus einer YAML-Konfiguration, ein paar Testfällen mit Assertions und einem Befehl.
Das Red Teaming unterscheidet es von den meisten Eval-Bibliotheken. Es erzeugt Angriffe für Prompt Injection, Jailbreaks und Datenabfluss und meldet, was durchgekommen ist. Der Haken liegt darin, wo diese Angriffe entstehen: Die Generierung läuft standardmäßig auf dem gehosteten Dienst von promptfoo, und die kostenlose Community-Stufe begrenzt das Red Teaming auf 10.000 Proben im Monat. Für die Offline-Nutzung musst du PROMPTFOO_DISABLE_REMOTE_GENERATION setzen und es auf ein lokales Modell richten.
Die Voreinstellungen verdienen einen Blick. Die CLI sendet Nutzungstelemetrie, solange PROMPTFOO_DISABLE_TELEMETRY nicht gesetzt ist, und wenn du angemeldet bist, gehören deine Nutzer-ID und deine E-Mail-Adresse dazu, nicht aber Prompts, Ausgaben oder Schlüssel. Der selbst gehostete Web-Viewer ist ausdrücklich nicht für die Produktion gedacht: Er nutzt eine lokale SQLite-Datenbank, hat keine eingebaute Authentifizierung und funktioniert nicht, wenn er mit mehr als einem Replikat läuft. Geteilte Dashboards, SSO und kontinuierliches Monitoring sind Enterprise-Funktionen zu einem nicht veröffentlichten Preis.
OpenAI sagt, promptfoo bleibe unter MIT-Lizenz und unterstütze weiterhin andere Anbieter. Repello, ein Konkurrent, berichtete zwei Monate nach der Ankündigung, CLI und Konfigurationsschema seien unverändert, und fragte zugleich, ob Unternehmen wollen, dass ihr Prüfwerkzeug dem Anbieter gehört, der geprüft wird. Für Forschungs-Benchmarks eignen sich Inspect und die LM Evaluation Harness besser, und Python-Teams finden den pytest-Stil von DeepEval womöglich natürlicher als ein Werkzeug, das Node.js 22 braucht.
Wo es sich lohnt
Ein Backend-Engineer, der einen RAG-Support-Bot pflegt
Regressionen erkennen, wenn sich Prompt oder Modell ändern
Pflege eine promptfooconfig.yaml mit echten Kundenfragen und Assertions und lass promptfoo eval bei jedem Pull Request in GitHub Actions laufen. Kostenlos; jeder Lauf kostet Modell-Tokens für jeden Testfall mal jeden verglichenen Anbieter, dazu etwaige vom Modell bewertete Assertions.
Eine Leiterin für Anwendungssicherheit bei einem Fintech, das einen Agenten mit Tools ausliefert
Den Agenten vor dem Launch per Red Teaming auf Prompt Injection und Datenabfluss prüfen
Lass promptfoo redteam gegen einen Staging-Endpunkt laufen; Community deckt 10.000 Proben im Monat ab. Die Angriffsgenerierung läuft über den gehosteten Dienst von promptfoo, sofern die entfernte Generierung nicht abgeschaltet und ein lokales Modell genutzt wird. Das zählt, wenn die Beschreibung der App vertraulich ist.
Ein Leiter für KI-Governance bei einer Bank mit einem Dutzend LLM-Apps
Prüfern wiederholbare Sicherheitstests über alle Apps hinweg nachweisen
Enterprise oder On-Premise ergänzen geteilte Dashboards, SSO, durchsuchbare Scan-Historie und Berichte zu Compliance-Rahmenwerken, auf Angebot. Die Frage im Einkauf ist jetzt die Eigentümerschaft und Roadmap von OpenAI, nicht die Funktionsliste.
Bevor du dich festlegst
- Einrichtung
- npx promptfoo@latest init oder eine globale npm-Installation, auf Node.js 22.22 oder neuer; ein erstes Eval läuft aus dem erzeugten YAML in Minuten.
- Integrationen
- Zu den Anbietern gehören OpenAI, Anthropic, Google und lokale Modelle über Ollama oder eigene HTTP-Ziele; läuft in CI-Systemen wie GitHub Actions; separate Produkte für eine Code-Scanning-Action und einen MCP-Proxy.
- Daten und Datenschutz
- Nutzungstelemetrie ist standardmäßig aktiv und enthält bei Anmeldung Nutzer-ID und E-Mail, aber keine Prompts oder Ausgaben. Die Red-Team-Generierung nutzt einen gehosteten Dienst, sofern PROMPTFOO_DISABLE_REMOTE_GENERATION nicht gesetzt ist. Ergebnisse liegen in einer lokalen SQLite-Datenbank. MIT-Lizenz.
- Kosten im großen Maßstab
- Die CLI ist kostenlos; die Rechnung sind Modell-Tokens, ungefähr Testfälle mal Anbieter mal Wiederholungen pro Lauf, dazu vom Modell bewertete Assertions. Red Teaming über 10.000 Proben im Monat, geteilte Dashboards und SSO brauchen Enterprise, auf Angebot.
- Grenzen
- Rund 840 offene Issues und Pull Requests; der selbst gehostete Server skaliert nicht über ein Replikat hinaus und hat keine Authentifizierung; nicht als akademischer Benchmark-Runner gedacht.
Was gut ist
- YAML-Tests, die mit einem Befehl in der CI laufen
- Breite Red-Team-Plugins für Injection und Datenlecks
- Funktioniert mit OpenAI, Anthropic, Google und lokalen Modellen
- MIT-Lizenz
Was nicht
- Gehört OpenAI, einem Modellanbieter
- Telemetrie und gehostete Angriffsgenerierung standardmäßig aktiv
- Dem selbst gehosteten Viewer fehlen Authentifizierung und Skalierung
- Braucht Node.js 22.22 oder neuer
Am besten für
Teams, die LLM-Apps ausliefern und Regressionstests und Sicherheitsscans in der CI wollen.
Alternativen zu promptfoo
promptfoo: häufige Fragen
- Lohnt sich promptfoo?
- promptfoo macht aus LLM-Regressionstests und Red-Team-Scans eine YAML-Datei und einen CI-Befehl; der neue Eigentümer ist der Teil, den man im Auge behalten sollte. Wir bewerten es mit 4.5 von 5.
- Was kostet promptfoo?
- CLI kostenlos und Open Source (MIT); die Community-Nutzung umfasst Red Teaming bis zu 10.000 Proben im Monat. Enterprise (verwaltete Cloud) und On-Premise auf Angebot.
- Welche Nachteile hat promptfoo?
- Gehört OpenAI, einem Modellanbieter; Telemetrie und gehostete Angriffsgenerierung standardmäßig aktiv; Dem selbst gehosteten Viewer fehlen Authentifizierung und Skalierung; Braucht Node.js 22.22 oder neuer.
- Für wen eignet sich promptfoo?
- Teams, die LLM-Apps ausliefern und Regressionstests und Sicherheitsscans in der CI wollen.
- Was kostet promptfoo für ein Team oder im Produktivbetrieb?
- Die CLI ist kostenlos; die Rechnung sind Modell-Tokens, ungefähr Testfälle mal Anbieter mal Wiederholungen pro Lauf, dazu vom Modell bewertete Assertions. Red Teaming über 10.000 Proben im Monat, geteilte Dashboards und SSO brauchen Enterprise, auf Angebot.
- Ist promptfoo sicher für Firmendaten?
- Nutzungstelemetrie ist standardmäßig aktiv und enthält bei Anmeldung Nutzer-ID und E-Mail, aber keine Prompts oder Ausgaben. Die Red-Team-Generierung nutzt einen gehosteten Dienst, sofern PROMPTFOO_DISABLE_REMOTE_GENERATION nicht gesetzt ist. Ergebnisse liegen in einer lokalen SQLite-Datenbank. MIT-Lizenz.
- Was sind die besten Alternativen zu promptfoo?
- Die nächsten Alternativen, die wir getestet haben, sind DeepEval, Inspect und Ragas.
Antworten geprüft am 26. Okt. 2026.