Was ist MLflow?
MLflow entstand 2018 als Open-Source-Werkzeug von Databricks für die Buchführung im Machine Learning: Experiment-Tracking protokolliert Parameter, Metriken und Dateien jedes Trainingslaufs, und das Modellregister versioniert die entstandenen Modelle für das Deployment. Seit der 3.x-Reihe deckt es auch LLM-Anwendungen ab. Tracing erfasst jeden Modellaufruf, jeden Retrieval-Schritt und jeden Tool-Aufruf als Span, mit einzeiligem Autologging für OpenAI, Anthropic, LangChain, LlamaIndex, DSPy und andere, und nimmt OpenTelemetry-Daten an. mlflow.genai.evaluate bewertet eine App anhand eines Datasets mit eingebauten LLM-Judges oder eigenen Scorern, ein Prompt-Register speichert unveränderliche Prompt-Versionen mit verschiebbaren Aliasen, und ein AI Gateway verteilt Anfragen auf Modellanbieter.
Das gesamte Repository steht unter Apache-2.0, ohne Ordner mit kommerzieller Lizenz, und Version 3.17.2 erschien am 21. Oktober 2026. Das Python-Paket braucht Python 3.10 oder neuer; für Tracing gibt es Clients für TypeScript und Java.
Selbst hosten ist kostenlos. Verwaltetes MLflow bieten Databricks, AWS SageMaker, Azure ML, Nebius und GCP an. Databricks veröffentlicht keinen eigenen Preis: MLflow gehört zu einem Workspace, der nach genutzter Rechenleistung abgerechnet wird, und die Free Edition ist nur für private, nichtkommerzielle Nutzung.
Lohnt sich MLflow?
MLflow ist das vernünftige Einzelsystem für ein Team, das eigene Modelle trainiert und zugleich LLM-Funktionen ausliefert: Ein Apache-2.0-Server hält Trainingsläufe, registrierte Modelle, Agent-Traces, Evaluationsergebnisse und Prompt-Versionen, und keine Funktion im Code liegt hinter einer kostenpflichtigen Lizenz. Es hat rund 28.600 GitHub-Sterne, veröffentlichte v3.17.2 am 21. Oktober 2026, und die README nennt mehr als 60 Millionen Downloads im Monat.
Die LLM-Hälfte ist inzwischen vollständig genug, um für sich zu stehen. Tracing ist eine Zeile pro Bibliothek, etwa mlflow.openai.autolog(), und laut Doku ist das separate Paket mlflow-tracing für Produktionsdienste um 95% kleiner. Die Evaluation schickt ein Dataset durch deine App und bewertet es mit eingebauten Judges wie Correctness und Guidelines oder mit einfachen Python-Funktionen mit @scorer, und Feedback von Prüfern wird direkt am Trace gespeichert. Im Vergleich zu Langfuse ist der Betriebsaufwand geringer: MLflow startet auf einer SQLite-Datei (Standard seit 3.7.0) und wächst zu PostgreSQL plus S3-, GCS- oder Azure-Blob-Speicher, während der Produktionsaufbau von Langfuse ClickHouse, Postgres, Redis und Objektspeicher braucht. Langfuse ist das fokussiertere LLM-Werkzeug, mit einer TypeScript-Web-App und veröffentlichten Cloud-Preisen; MLflows Schwerpunkt bleibt Python.
Die Schwachstelle ist die Sicherheit im Auslieferungszustand. mlflow server verlangt keine Anmeldung, solange er nicht mit --app-name basic-auth gestartet wird, und die Sicherheitshinweise von 2026 häufen sich genau bei dieser Konfiguration: im Oktober eine kritische Remote-Code-Ausführung und ein hoch eingestuftes beliebiges Dateilesen auf Servern ohne Authentifizierung, beide in 3.17.0 behoben. Ältere Versionen lieferten das Admin-Passwort password1234 aus, das jetzt abgelehnt wird. Anonyme Nutzungstelemetrie ist seit 3.2.0 standardmäßig an; sie schließt Parameter, Dateinamen und Modellinhalte aus, und MLFLOW_DISABLE_TELEMETRY=true oder DO_NOT_TRACK=true schaltet sie ab.
Auch Upgrades verlangen Sorgfalt. Version 3.17.0 setzt voraus, dass alle schreibenden Prozesse gestoppt werden, ein Backup existiert und mlflow db upgrade läuft; ein Rolling Upgrade mit gemischten Versionen gibt es nicht. Das ist der Preis dafür, die Datenbank selbst zu besitzen, und zugleich ihr Sinn.
Weights & Biases bleibt der ausgefeiltere gehostete Dienst für Experiment-Dashboards, und seine LLM-Schicht Weave rechnet nach Datenvolumen ab: Pro beginnt bei 60 $ im Monat mit 1,5 GB, danach 0,10 $ pro MB. MLflow kostet so viel wie ein kleiner Server und eine Postgres-Instanz, und die Laufhistorie bleibt in Tabellen, die du selbst sichern und abfragen kannst, was den meisten Teams wichtiger ist als ein schöneres Diagramm.
Wo es sich lohnt
Ein vierköpfiges Data-Science-Team bei einem Händler, das Modelle zur Nachfrageprognose trainiert
Hunderte Trainingsläufe vergleichen und das beste Modell in Produktion bringen
Jeder Lauf protokolliert Parameter, Metriken und die Modelldatei auf einem gemeinsamen MLflow-Server; das Register versioniert Modelle, und ein Alias markiert das produktive. Kosten fallen nur für den Server, eine PostgreSQL-Datenbank und einen S3-Bucket an.
Ein Platform Engineer bei einer Bank, der einen LLM-Assistenten in einen bestehenden ML-Stack einbaut
Den Assistenten tracen und evaluieren, ohne ein separates Observability-Produkt zu kaufen
Autologging und das Paket mlflow-tracing schicken Spans an den MLflow-Server, den das ML-Team bereits betreibt; mlflow.genai.evaluate bewertet Releases gegen ein Testset. Vor dem Go-live basic-auth oder SSO aktivieren und auf 3.17.0 oder neuer aktualisieren, um die Hinweise vom Oktober 2026 zu schließen.
Eine Analytics-Leiterin in einem Unternehmen, das bereits Databricks nutzt
Analysten getrackte Experimente und verwaltete Modelle geben, ohne Server zu betreiben
Verwaltetes MLflow ist in den Workspace eingebaut und mit Unity Catalog und Model Serving verbunden, ohne eigene MLflow-Gebühr; die Rechnung ist die Databricks-Rechenleistung der Jobs, die Databricks nicht als MLflow-Preis ausweist.
Bevor du dich festlegst
- Einrichtung
- uvx mlflow server startet einen lokalen Server auf Port 5000 mit SQLite; für die Produktion gibt es das Docker-Compose-Paket (MLflow, PostgreSQL und RustFS) oder den offiziellen Helm-Chart.
- Integrationen
- SDKs für Python, TypeScript und Java; Autologging für OpenAI, Anthropic, LangChain, LlamaIndex, DSPy, Pydantic AI und Vercel AI; OpenTelemetry-Import und -Export; Artefaktspeicher auf S3, GCS oder Azure Blob; verwaltete Versionen auf Databricks, SageMaker, Azure ML, Nebius und GCP.
- Daten und Datenschutz
- Läufe, Traces und Prompts bleiben in deiner eigenen Datenbank und deinem Objektspeicher. Anonyme Nutzungstelemetrie an mlflow-telemetry.io ist seit 3.2.0 standardmäßig an und schließt Parameter, Dateinamen und Modellinhalte aus; MLFLOW_DISABLE_TELEMETRY=true oder DO_NOT_TRACK=true schaltet sie ab. Neun Hinweise seit Juli 2026, vier davon hoch oder kritisch.
- Kosten im großen Maßstab
- Selbst hosten kostet einen Anwendungsserver, eine PostgreSQL-Datenbank und Objektspeicher; die Doku nennt keine Dimensionierung. Databricks berechnet keine eigene MLflow-Gebühr, sondern die Workspace-Rechenleistung; die Free Edition schließt kommerzielle Nutzung aus.
- Grenzen
- Rund 2.225 offene Issues und Pull Requests. Basic-auth begrenzt Anmeldeversuche nicht, und abmelden geht nur durch Schließen des Browsers; Netzwerkschutz wie --allowed-hosts funktioniert nur mit dem Standard-Server uvicorn, nicht mit --gunicorn-opts oder --waitress-opts.
Was gut ist
- Experiment-Tracking, Modellregister, LLM-Tracing, Evaluation und Prompts in einem Apache-2.0-Server
- Keine kommerziell lizenzierten Funktionen im Code
- Startet auf SQLite; wächst zu PostgreSQL und S3, GCS oder Azure Blob
- OpenTelemetry-kompatibles Tracing mit einzeiligem Autologging für die wichtigsten LLM-Bibliotheken
Was nicht
- Der Server läuft ohne Authentifizierung, solange basic-auth oder SSO nicht eingerichtet ist
- Neun Sicherheitshinweise seit Juli 2026, darunter eine kritische RCE auf Servern ohne Authentifizierung
- Anonyme Telemetrie standardmäßig an
- Schema-Upgrades brauchen Ausfallzeit; keine Rolling Upgrades mit gemischten Versionen
Am besten für
Python-Teams, die Modelle trainieren und LLM-Funktionen bauen und für beides ein kostenloses, selbst gehostetes System of Record wollen.
Alternativen zu MLflow
MLflow: häufige Fragen
- Lohnt sich MLflow?
- Weiterhin der Standardort für ML-Experimente, jetzt mit kostenlosem LLM-Tracing und Evaluation; sichere den Server ab, bevor ihn jemand anderes erreichen kann. Wir bewerten es mit 4.4 von 5.
- Was kostet MLflow?
- Kostenlos und Open Source unter Apache-2.0; du zahlst nur für Server, Datenbank und Objektspeicher. Verwaltetes MLflow auf Databricks hat keinen eigenen Listenpreis und wird über Databricks-Rechenleistung abgerechnet; die Free Edition ist nur für private Nutzung.
- Welche Nachteile hat MLflow?
- Der Server läuft ohne Authentifizierung, solange basic-auth oder SSO nicht eingerichtet ist; Neun Sicherheitshinweise seit Juli 2026, darunter eine kritische RCE auf Servern ohne Authentifizierung; Anonyme Telemetrie standardmäßig an; Schema-Upgrades brauchen Ausfallzeit; keine Rolling Upgrades mit gemischten Versionen.
- Für wen eignet sich MLflow?
- Python-Teams, die Modelle trainieren und LLM-Funktionen bauen und für beides ein kostenloses, selbst gehostetes System of Record wollen.
- Was kostet MLflow für ein Team oder im Produktivbetrieb?
- Selbst hosten kostet einen Anwendungsserver, eine PostgreSQL-Datenbank und Objektspeicher; die Doku nennt keine Dimensionierung. Databricks berechnet keine eigene MLflow-Gebühr, sondern die Workspace-Rechenleistung; die Free Edition schließt kommerzielle Nutzung aus.
- Ist MLflow sicher für Firmendaten?
- Läufe, Traces und Prompts bleiben in deiner eigenen Datenbank und deinem Objektspeicher. Anonyme Nutzungstelemetrie an mlflow-telemetry.io ist seit 3.2.0 standardmäßig an und schließt Parameter, Dateinamen und Modellinhalte aus; MLFLOW_DISABLE_TELEMETRY=true oder DO_NOT_TRACK=true schaltet sie ab. Neun Hinweise seit Juli 2026, vier davon hoch oder kritisch.
- Was sind die besten Alternativen zu MLflow?
- Die nächsten Alternativen, die wir getestet haben, sind Langfuse, W&B Weave, Arize Phoenix und Opik.
Antworten geprüft am 1. Nov. 2026.