Skip to content
ReviewRamble

The weekly brief

AI, reviewed, in your inbox.

  • New reviews of tools, models, MCP servers and repos, with the verdict up front
  • Re-checked prices and ratings when something changes
  • New analysis pieces as they are published

Models, agents, MCP servers and the tools actually worth your time.

One email a week. Unsubscribe with the link in any brief. How we use your email

MLflow

Plateforme Apache-2.0 de suivi d'expériences ML et de registre de modèles qui trace, évalue et versionne aussi les prompts des apps LLM.

Avis de Sheela · Mis à jour

Voir sur GitHub Open source

Notre note

4.4/5

Toujours l'endroit par défaut pour consigner les expériences ML, désormais avec tracing et évaluation LLM offerts ; verrouillez le serveur avant que quiconque d'autre puisse l'atteindre.

Qu’est-ce que MLflow ?

MLflow est né en 2018 comme l'outil open source de Databricks pour la comptabilité du machine learning : le suivi d'expériences enregistre les paramètres, métriques et fichiers de chaque entraînement, et le registre de modèles versionne les modèles obtenus pour le déploiement. Depuis la série 3.x, il couvre aussi les applications LLM. Le tracing enregistre chaque appel de modèle, chaque récupération et chaque appel d'outil sous forme de spans, avec un autologging en une ligne pour OpenAI, Anthropic, LangChain, LlamaIndex, DSPy et d'autres, et accepte les données OpenTelemetry. mlflow.genai.evaluate note une app sur un dataset avec des juges LLM intégrés ou vos propres scorers, un registre de prompts conserve des versions immuables avec des alias déplaçables, et un AI Gateway répartit les requêtes entre fournisseurs de modèles.

Tout le dépôt est sous Apache-2.0, sans dossier sous licence commerciale, et la version 3.17.2 est sortie le 21 octobre 2026. Le paquet Python exige Python 3.10 ou plus récent ; des clients TypeScript et Java existent pour le tracing.

L'auto-hébergement est gratuit. MLflow géré est proposé par Databricks, AWS SageMaker, Azure ML, Nebius et GCP. Databricks ne publie pas de prix distinct : MLflow est fourni avec un workspace, facturé selon le calcul consommé, et sa Free Edition est réservée à un usage personnel et non commercial.

MLflow vaut-il le coup ?

MLflow est le système unique raisonnable pour une équipe qui entraîne ses propres modèles et livre aussi des fonctions LLM : un seul serveur Apache-2.0 contient les entraînements, les modèles enregistrés, les traces d'agents, les résultats d'évaluation et les versions de prompts, et aucune fonction du code n'est réservée à une licence payante. Il compte environ 28 600 étoiles sur GitHub, a publié la v3.17.2 le 21 octobre 2026, et son README revendique plus de 60 millions de téléchargements mensuels.

La partie LLM est désormais assez complète pour tenir seule. Le tracing tient en une ligne par bibliothèque, comme mlflow.openai.autolog(), et la documentation indique que le paquet séparé mlflow-tracing est 95 % plus léger pour les services en production. L'évaluation fait passer un dataset dans votre app et le note avec des juges intégrés comme Correctness et Guidelines ou avec de simples fonctions Python @scorer, et les retours des relecteurs sont stockés sur la trace elle-même. Face à Langfuse, la charge d'exploitation est plus légère : MLflow démarre sur un fichier SQLite (par défaut depuis 3.7.0) et passe à PostgreSQL avec un stockage S3, GCS ou Azure Blob, là où la version de production de Langfuse exige ClickHouse, Postgres, Redis et un stockage objet. Langfuse est l'outil LLM le plus ciblé, avec une app web en TypeScript et des prix cloud publiés ; le centre de gravité de MLflow reste Python.

Le point faible est la sécurité par défaut. mlflow server ne demande aucune connexion s'il n'est pas lancé avec --app-name basic-auth, et les avis de sécurité de 2026 se concentrent précisément sur cette configuration : en octobre, une exécution de code à distance critique et une lecture arbitraire de fichiers de gravité élevée sur des serveurs non authentifiés, toutes deux corrigées en 3.17.0. Les anciennes versions livraient le mot de passe administrateur password1234, désormais refusé. La télémétrie d'usage anonyme est activée par défaut depuis 3.2.0 ; elle exclut les paramètres, les noms de fichiers et le contenu des modèles, et MLFLOW_DISABLE_TELEMETRY=true ou DO_NOT_TRACK=true la coupe.

Les mises à jour demandent aussi de la prudence. La version 3.17.0 impose d'arrêter tous les processus qui écrivent, de faire une sauvegarde et de lancer mlflow db upgrade, sans mise à jour progressive avec des versions mélangées. C'est le prix de la maîtrise de la base de données, et aussi tout son intérêt.

Weights & Biases reste le service hébergé le plus soigné pour les tableaux de bord d'expériences, et sa couche LLM, Weave, facture au volume de données : Pro commence à 60 $ par mois avec 1,5 Go, puis 0,10 $ par Mo. MLflow coûte le prix d'un petit serveur et d'une instance Postgres, et son historique d'exécutions reste dans des tables que vous pouvez sauvegarder et interroger vous-même, ce qui compte davantage pour la plupart des équipes qu'un graphique plus joli.

Là où il fait la différence

  • Une équipe data science de quatre personnes chez un distributeur, qui entraîne des modèles de prévision de la demande

    Comparer des centaines d'entraînements et passer le meilleur modèle en production

    Chaque exécution enregistre paramètres, métriques et fichier du modèle sur un serveur MLflow partagé ; le registre versionne les modèles et un alias désigne celui en production. Le seul coût est le serveur, une base PostgreSQL et un bucket S3.

  • Un ingénieur plateforme dans une banque qui ajoute un assistant LLM à une pile ML existante

    Tracer et évaluer l'assistant sans acheter un produit d'observabilité distinct

    L'autologging et le paquet mlflow-tracing envoient les spans au serveur MLflow que l'équipe ML exploite déjà ; mlflow.genai.evaluate note chaque version sur un jeu de test. Avant la mise en production, activer basic-auth ou le SSO et passer à 3.17.0 ou plus pour corriger les avis d'octobre 2026.

  • Une responsable analytics dans une entreprise déjà sur Databricks

    Offrir aux analystes des expériences suivies et des modèles gouvernés sans gérer de serveurs

    MLflow géré est intégré au workspace et relié à Unity Catalog et Model Serving, sans frais MLflow distincts ; la facture correspond au calcul Databricks consommé par les jobs, que Databricks ne publie pas comme prix MLflow.

Avant de vous engager

Mise en route
uvx mlflow server lance un serveur local sur le port 5000 adossé à SQLite ; en production, on utilise le bundle Docker Compose (MLflow, PostgreSQL et RustFS) ou le chart Helm officiel.
Intégrations
SDK Python, TypeScript et Java ; autologging pour OpenAI, Anthropic, LangChain, LlamaIndex, DSPy, Pydantic AI et Vercel AI ; ingestion et export OpenTelemetry ; stockage des artefacts sur S3, GCS ou Azure Blob ; versions gérées sur Databricks, SageMaker, Azure ML, Nebius et GCP.
Données et confidentialité
Exécutions, traces et prompts restent dans votre propre base de données et votre stockage objet. La télémétrie d'usage anonyme vers mlflow-telemetry.io est activée par défaut depuis 3.2.0 et exclut paramètres, noms de fichiers et contenu des modèles ; MLFLOW_DISABLE_TELEMETRY=true ou DO_NOT_TRACK=true la désactive. Neuf avis depuis juillet 2026, dont quatre de gravité élevée ou critique.
Coût à grande échelle
L'auto-hébergement coûte un serveur applicatif, une base PostgreSQL et du stockage objet ; la documentation ne publie pas de dimensionnement. Databricks ne facture pas MLflow à part mais le calcul du workspace ; sa Free Edition exclut l'usage commercial.
Limites
Environ 2 225 issues et pull requests ouvertes. Basic-auth ne limite pas les tentatives de connexion et la déconnexion passe par la fermeture du navigateur ; les protections réseau comme --allowed-hosts ne fonctionnent qu'avec le serveur uvicorn par défaut, pas avec --gunicorn-opts ni --waitress-opts.

Les points forts

  • Suivi d'expériences, registre de modèles, tracing LLM, évaluation et prompts dans un seul serveur Apache-2.0
  • Aucune fonction sous licence commerciale dans le code
  • Démarre sur SQLite ; passe à PostgreSQL et S3, GCS ou Azure Blob
  • Tracing compatible OpenTelemetry avec autologging en une ligne pour les principales bibliothèques LLM

Les points faibles

  • Le serveur tourne sans authentification tant que basic-auth ou le SSO n'est pas configuré
  • Neuf avis de sécurité publiés depuis juillet 2026, dont une RCE critique sur les serveurs non authentifiés
  • Télémétrie anonyme activée par défaut
  • Les mises à jour de schéma imposent un arrêt ; pas de mise à jour progressive avec versions mélangées

Idéal pour

Les équipes Python qui entraînent des modèles et créent des fonctions LLM et veulent un seul système de référence, gratuit et auto-hébergé, pour les deux.

Alternatives à MLflow

MLflow : questions fréquentes

MLflow vaut-il le coup ?
Toujours l'endroit par défaut pour consigner les expériences ML, désormais avec tracing et évaluation LLM offerts ; verrouillez le serveur avant que quiconque d'autre puisse l'atteindre. Nous lui donnons 4.4 sur 5.
Combien coûte MLflow ?
Gratuit et open source sous Apache-2.0 ; vous ne payez que le serveur, la base de données et le stockage objet. MLflow géré sur Databricks n'a pas de prix catalogue propre et se facture via le calcul Databricks ; la Free Edition est réservée à un usage personnel.
Quels sont les inconvénients de MLflow ?
Le serveur tourne sans authentification tant que basic-auth ou le SSO n'est pas configuré; neuf avis de sécurité publiés depuis juillet 2026, dont une RCE critique sur les serveurs non authentifiés; télémétrie anonyme activée par défaut; les mises à jour de schéma imposent un arrêt ; pas de mise à jour progressive avec versions mélangées.
À qui s’adresse MLflow ?
Les équipes Python qui entraînent des modèles et créent des fonctions LLM et veulent un seul système de référence, gratuit et auto-hébergé, pour les deux.
Combien coûte MLflow pour une équipe ou en production ?
L'auto-hébergement coûte un serveur applicatif, une base PostgreSQL et du stockage objet ; la documentation ne publie pas de dimensionnement. Databricks ne facture pas MLflow à part mais le calcul du workspace ; sa Free Edition exclut l'usage commercial.
MLflow est-il sûr pour les données de l’entreprise ?
Exécutions, traces et prompts restent dans votre propre base de données et votre stockage objet. La télémétrie d'usage anonyme vers mlflow-telemetry.io est activée par défaut depuis 3.2.0 et exclut paramètres, noms de fichiers et contenu des modèles ; MLFLOW_DISABLE_TELEMETRY=true ou DO_NOT_TRACK=true la désactive. Neuf avis depuis juillet 2026, dont quatre de gravité élevée ou critique.
Quelles sont les meilleures alternatives à MLflow ?
Les alternatives les plus proches que nous avons testées sont Langfuse, W&B Weave, Arize Phoenix et Opik.

Réponses vérifiées le 1 nov. 2026.