Was ist Arize Phoenix?
Phoenix ist Arizes offenes Tool für Tracing und Evaluation von LLM-Anwendungen. Es baut auf OpenTelemetry und Arizes Instrumentierung OpenInference auf, mit Auto-Instrumentierung für LlamaIndex, LangChain, DSPy, Mastra, das Vercel AI SDK sowie Clients von OpenAI, Bedrock und Anthropic in Python, TypeScript und Java.
Über Traces hinaus bietet es LLM-as-Judge- und Code-Evaluatoren (oder solche aus Ragas und DeepEval), Datensätze und Experimente zum Vergleich von App-Versionen, Prompt-Versionierung und einen Playground. Es läuft lokal, in Docker oder auf Kubernetes mit einem Helm-Chart. Arize verkauft eine verwaltete Plattform, Arize AX, mit einer kostenlosen Stufe von 25.000 Spans im Monat und einem Pro-Plan für 50 $ im Monat.
Phoenix steht unter der Elastic License 2.0, die Nutzung und Änderung erlaubt, aber verbietet, es anderen als gehosteten Dienst anzubieten. Dynatrace schloss die Übernahme von Arize für 915 Millionen $ am 1. Oktober 2026 ab und sagt, Arize werde Phoenix weiter unterstützen.
Lohnt sich Arize Phoenix?
Phoenix ist das Tracing-Tool der Wahl, wenn Evaluation die Aufgabe ist und nicht Dashboards, und es ist inzwischen ein Produkt von Dynatrace. Dynatrace schloss den Kauf von Arize für 915 Millionen $ am 1. Oktober 2026 ab und sagt, Phoenix werde weiter unterstützt. Die Entwicklung hat sich nicht verlangsamt: arize-phoenix 20.25.0 erschien am 23. Oktober 2026, und das Repo hat rund 12.000 Sterne.
Sein Fundament sind offene Standards. Traces nutzen OpenTelemetry und Arizes OpenInference-Konventionen, sodass die Instrumentierung nicht an Phoenix gebunden ist, und am 16. Juni 2026 stimmte das Governance-Komitee von OpenTelemetry dafür, den Instrumentierungscode von OpenInference als Spende anzunehmen, nicht aber seine semantischen Konventionen. Ein neuer Befehl `px setup` erkennt dein Framework und installiert die passende Instrumentierung, und `uvx arize-phoenix serve` startet die ganze App ohne Installation.
Der Evaluationskreislauf ist die Stärke. Aus Traces gebaute Datensätze, Experimente, die sie gegen neue Prompts oder Modelle erneut ausführen, und Evaluatoren aus Ragas oder DeepEval machen es zu einem Werkzeug, um Qualität zu verbessern, nicht nur zu beobachten. Evals und Experimente sind in jedem AX-Plan unbegrenzt, also misst die verwaltete Version genau den Teil nicht ab, den Phoenix am besten kann.
Die Standardeinstellungen brauchen vor dem Produktivbetrieb Aufmerksamkeit. Phoenix startet mit SQLite in einem temporären Ordner, also verschwinden die Daten, wenn du kein Arbeitsverzeichnis oder PostgreSQL festlegst. Authentifizierung ist standardmäßig aus, und wer sie später einschaltet, stoppt die Annahme von Traces, bis API-Schlüssel existieren. Einfache UI-Analytics werden erfasst, solange PHOENIX_TELEMETRY_ENABLED=false nicht gesetzt ist, wobei Arize sagt, dass keine Trace-Daten gesendet werden. Die Elastic License 2.0 verbietet, Phoenix als gehosteten Dienst anzubieten; der MIT-Kern von Langfuse und Opik unter Apache 2.0 haben keine solche Klausel.
Wo es sich lohnt
Eine Data Scientist, die einen RAG-Chatbot auf dem Laptop debuggt
Herausfinden, warum das Retrieval die falschen Passagen liefert
Phoenix lokal betreiben, die LlamaIndex- oder LangChain-App automatisch instrumentieren und jeden Retrieval-Span neben der Antwort prüfen. Kostenlos, ohne Konto, und nichts verlässt den Rechner außer abschaltbaren UI-Analytics.
Ein ML-Plattformteam bei einem SaaS-Unternehmen mit 300 Leuten
Tracing und Regressionstests für vier LLM-Funktionen selbst hosten
Mit dem Helm-Chart auf PostgreSQL deployen, PHOENIX_ENABLE_AUTH mit OAuth2 oder LDAP aktivieren und vor jeder Prompt-Änderung Experimente auf Trace-Datensätzen laufen lassen. Keine Lizenzgebühr; die Kosten sind eine Datenbank und ein kleines Kubernetes-Deployment.
Ein Head of Engineering, der bereits für Dynatrace bezahlt
Entscheiden, wo LLM-Observability angesiedelt sein soll
Phoenix deckt Entwicklung und Evaluation kostenlos ab; Arize AX Pro für 50 $ im Monat ergänzt verwalteten Speicher mit 30 Tagen Aufbewahrung. Dynatrace will Arize nach und nach integrieren, was für eine Konsolidierung sprechen kann, die Roadmap von AX aber zu einer Entscheidung von Dynatrace macht.
Bevor du dich festlegst
- Einrichtung
- `pip install arize-phoenix && phoenix serve` (Python 3.11 bis 3.14) oder `uvx arize-phoenix serve`; UI und Trace-Endpunkt teilen sich Port 6006. Docker-Images und ein Helm-Chart decken Server ab.
- Integrationen
- Auto-Instrumentierung für LlamaIndex, LangChain, DSPy, Mastra, das Vercel AI SDK sowie Clients von OpenAI, Bedrock und Anthropic in Python, TypeScript und Java; Evaluatoren aus Ragas und DeepEval.
- Daten und Datenschutz
- Selbst gehostete Daten bleiben auf deiner Infrastruktur und können air-gapped laufen; die Aufbewahrung ist standardmäßig unbegrenzt. Auth ist deaktiviert, bis PHOENIX_ENABLE_AUTH und PHOENIX_SECRET gesetzt sind. UI-Analytics sind standardmäßig an; Trace-Daten werden nicht erfasst. Arizes Preisseite zeigt für AX ein Siegel für SOC 2 Type II, ohne zu sagen, welche Pläne es abdeckt, und führt HIPAA, Self-Hosting und Audit-Logs nur bei Enterprise.
- Kosten im großen Maßstab
- Self-Hosting ist kostenlos ohne Nutzungsgrenzen; plane für die Produktion eine PostgreSQL-Instanz ein. Arize AX: Free 25.000 Spans/Monat, Pro 50 $/Monat für 50.000 Spans; Preise für Mehrverbrauch sind nicht veröffentlicht.
- Grenzen
- Der SQLite-Standard verliert ohne persistentes Volume Daten; Auth bei einem laufenden Deployment zu aktivieren blockiert die Annahme, bis Schlüssel existieren; die Elastic License verbietet den Weiterverkauf als Dienst; rund 1.200 offene Issues und Pull Requests.
Was gut ist
- Baut auf OpenTelemetry und OpenInference auf
- Datensätze, Experimente und Evaluatoren in einem Kreislauf
- Ein Befehl (`uvx arize-phoenix serve`) für den lokalen Betrieb
- Releases fast jede Woche; 20.25.0 am 23. Oktober 2026
Was nicht
- Elastic License 2.0, kein Open Source nach OSI
- Seit Oktober 2026 im Besitz von Dynatrace
- Standardmäßig Auth aus und SQLite in einem temporären Ordner
- AX Free bewahrt Daten nur 15 Tage auf
Am besten für
Engineers und Data Scientists, die standardbasiertes Tracing mit starkem Evaluationskreislauf wollen, beginnend auf dem Laptop.
Alternativen zu Arize Phoenix
Arize Phoenix: häufige Fragen
- Lohnt sich Arize Phoenix?
- Phoenix hat unter den offenen Tracing-Tools den stärksten Evaluationskreislauf, verpackt in eine Lizenz und einen Eigentümer, über die Rechtsabteilungen reden wollen werden. Wir bewerten es mit 4.2 von 5.
- Was kostet Arize Phoenix?
- Kostenlos selbst zu hosten unter der Elastic License 2.0 (Source-available; kein Hosting als Dienst für andere). Verwaltetes Arize AX: Free (25.000 Spans/Monat, 15 Tage Aufbewahrung, 1 GB); Pro 50 $/Monat (50.000 Spans, 30 Tage, 10 GB); Enterprise nach Vereinbarung.
- Welche Nachteile hat Arize Phoenix?
- Elastic License 2.0, kein Open Source nach OSI; Seit Oktober 2026 im Besitz von Dynatrace; Standardmäßig Auth aus und SQLite in einem temporären Ordner; AX Free bewahrt Daten nur 15 Tage auf.
- Für wen eignet sich Arize Phoenix?
- Engineers und Data Scientists, die standardbasiertes Tracing mit starkem Evaluationskreislauf wollen, beginnend auf dem Laptop.
- Was kostet Arize Phoenix für ein Team oder im Produktivbetrieb?
- Self-Hosting ist kostenlos ohne Nutzungsgrenzen; plane für die Produktion eine PostgreSQL-Instanz ein. Arize AX: Free 25.000 Spans/Monat, Pro 50 $/Monat für 50.000 Spans; Preise für Mehrverbrauch sind nicht veröffentlicht.
- Ist Arize Phoenix sicher für Firmendaten?
- Selbst gehostete Daten bleiben auf deiner Infrastruktur und können air-gapped laufen; die Aufbewahrung ist standardmäßig unbegrenzt. Auth ist deaktiviert, bis PHOENIX_ENABLE_AUTH und PHOENIX_SECRET gesetzt sind. UI-Analytics sind standardmäßig an; Trace-Daten werden nicht erfasst. Arizes Preisseite zeigt für AX ein Siegel für SOC 2 Type II, ohne zu sagen, welche Pläne es abdeckt, und führt HIPAA, Self-Hosting und Audit-Logs nur bei Enterprise.
- Was sind die besten Alternativen zu Arize Phoenix?
- Die nächsten Alternativen, die wir getestet haben, sind Langfuse, Opik und Ragas.
Antworten geprüft am 26. Okt. 2026.