Skip to content
ReviewRamble

The weekly brief

AI, reviewed, in your inbox.

  • New reviews of tools, models, MCP servers and repos, with the verdict up front
  • Re-checked prices and ratings when something changes
  • New analysis pieces as they are published

Models, agents, MCP servers and the tools actually worth your time.

One email a week. Unsubscribe with the link in any brief. How we use your email

MLflow

ML の実験管理とモデルレジストリを担う Apache-2.0 のプラットフォーム。現在は LLM アプリのトレース、評価、プロンプトのバージョン管理にも対応します。

レビュー: Sheela · 更新

GitHubで見る オープンソース

当サイトの評価

4.4/5

ML 実験を記録する定番の場所であり続け、今では LLM のトレースと評価も無料で付いてきます。ほかの誰かが届く前にサーバーを固めてください。

MLflowとは?

MLflow は 2018 年、機械学習の記録管理のための Databricks のオープンソースツールとして始まりました。実験管理は各学習実行のパラメーター、メトリクス、ファイルを記録し、モデルレジストリは得られたモデルをデプロイ用にバージョン管理します。3.x 系からは LLM アプリケーションにも対応しています。トレースは各モデル呼び出し、検索、ツール呼び出しを span として記録し、OpenAI、Anthropic、LangChain、LlamaIndex、DSPy などには 1 行の autologging が用意され、OpenTelemetry のデータも受け付けます。mlflow.genai.evaluate は組み込みの LLM ジャッジや独自の scorer でアプリをデータセットに対して採点し、プロンプトレジストリは変更不可のプロンプトバージョンを付け替え可能なエイリアス付きで保持し、AI Gateway はモデルプロバイダー間でリクエストを振り分けます。

リポジトリ全体が Apache-2.0 で、商用ライセンスのフォルダーはありません。バージョン 3.17.2 は 2026年10月21日にリリースされました。Python パッケージには Python 3.10 以降が必要で、トレース用に TypeScript と Java のクライアントもあります。

セルフホストは無料です。マネージド MLflow は Databricks、AWS SageMaker、Azure ML、Nebius、GCP が提供しています。Databricks は個別の価格を公表していません。MLflow は workspace に含まれ、workspace は使った計算量で課金されます。Free Edition は個人の非商用利用に限られます。

MLflowは使う価値があるか?

MLflow は、自社でモデルを学習させつつ LLM 機能も出すチームにとって、まっとうな単一のシステムです。Apache-2.0 のサーバー 1 台が学習実行、登録済みモデル、エージェントのトレース、評価結果、プロンプトのバージョンを保持し、コード内のどの機能も有料ライセンスの裏にはありません。GitHub のスターは約 28,600 で、2026年10月21日に v3.17.2 をリリースし、README は月間 6,000 万回を超えるダウンロードを掲げています。

LLM 側は、それだけで成り立つほど充実しました。トレースはライブラリごとに mlflow.openai.autolog() のような 1 行で済み、ドキュメントによれば別パッケージの mlflow-tracing は本番サービス向けにフットプリントが 95% 小さくなります。評価はデータセットをアプリに通し、Correctness や Guidelines などの組み込みジャッジ、または @scorer を付けた普通の Python 関数で採点します。レビュアーのフィードバックはトレース自体に保存されます。Langfuse と比べると運用の負担は軽く、MLflow は SQLite ファイル(3.7.0 以降のデフォルト)から始まり、PostgreSQL と S3、GCS、Azure Blob のストレージへと拡張できます。一方、Langfuse の本番構成には ClickHouse、Postgres、Redis、オブジェクトストレージが必要です。Langfuse は TypeScript の Web アプリと公開されたクラウド料金を持つ、より LLM に特化したツールで、MLflow の重心は今も Python にあります。

弱点はデフォルトのセキュリティです。mlflow server は --app-name basic-auth を付けて起動しない限りログインを求めず、2026 年のセキュリティアドバイザリはまさにその構成に集中しています。10 月には、認証のないサーバーでのクリティカルなリモートコード実行と、深刻度 high の任意ファイル読み取りが公表され、どちらも 3.17.0 で修正されました。古いバージョンは管理者パスワード password1234 を同梱していましたが、現在は拒否されます。匿名の利用テレメトリーは 3.2.0 以降デフォルトでオンです。パラメーター、ファイル名、モデルの内容は含まれず、MLFLOW_DISABLE_TELEMETRY=true または DO_NOT_TRACK=true で止められます。

アップグレードにも注意が要ります。バージョン 3.17.0 では、書き込むプロセスをすべて止め、バックアップを取り、mlflow db upgrade を実行する必要があり、バージョン混在のローリングアップグレードはできません。データベースを自分で持つことの代償であり、同時にその意義でもあります。

Weights & Biases は実験ダッシュボードのホスト型サービスとして今も洗練されており、その LLM レイヤーである Weave はデータ量で課金します。Pro は月 $60 で 1.5 GB から始まり、超過分は 1 MB あたり $0.10 です。MLflow の費用は小さなサーバーと Postgres インスタンス程度で、実行履歴は自分でバックアップしてクエリできるテーブルに残ります。多くのチームにとって、それはきれいなグラフより重要です。

真価を発揮する場面

  • 需要予測モデルを学習させている小売企業の 4 人のデータサイエンスチーム

    数百回の学習実行を比較し、最良のモデルを本番に昇格させる

    各実行がパラメーター、メトリクス、モデルファイルを共有の MLflow サーバーに記録し、レジストリがモデルをバージョン管理し、エイリアスで本番のモデルを示します。費用はサーバー、PostgreSQL データベース、S3 バケットだけです。

  • 既存の ML 基盤に LLM アシスタントを追加する銀行のプラットフォームエンジニア

    別のオブザーバビリティ製品を買わずにアシスタントをトレースし評価する

    autologging と mlflow-tracing パッケージが、ML チームがすでに運用している MLflow サーバーに span を送り、mlflow.genai.evaluate がテストセットでリリースを採点します。本番投入前に basic-auth か SSO を有効にし、3.17.0 以降に上げて 2026 年 10 月のアドバイザリに対応してください。

  • すでに Databricks を使っている企業のアナリティクス責任者

    サーバーを運用せずに、アナリストへ記録された実験と管理されたモデルを提供する

    マネージド MLflow は workspace に組み込まれ、Unity Catalog と Model Serving につながっており、MLflow 単体の料金はありません。請求はジョブが使う Databricks の計算量で、Databricks はそれを MLflow の価格としては公表していません。

導入前に確認すること

導入
uvx mlflow server で SQLite を使うローカルサーバーがポート 5000 で起動します。本番では Docker Compose のバンドル(MLflow、PostgreSQL、RustFS)か公式の Helm チャートを使います。
連携
Python、TypeScript、Java の SDK。OpenAI、Anthropic、LangChain、LlamaIndex、DSPy、Pydantic AI、Vercel AI 向けの autologging。OpenTelemetry の取り込みとエクスポート。S3、GCS、Azure Blob へのアーティファクト保存。Databricks、SageMaker、Azure ML、Nebius、GCP のマネージド版。
データとプライバシー
実行、トレース、プロンプトは自分のデータベースとオブジェクトストアに残ります。mlflow-telemetry.io への匿名の利用テレメトリーは 3.2.0 以降デフォルトでオンで、パラメーター、ファイル名、モデルの内容は含みません。MLFLOW_DISABLE_TELEMETRY=true または DO_NOT_TRACK=true で無効になります。2026 年 7 月以降のアドバイザリは 9 件で、うち 4 件が high または critical です。
大規模利用時のコスト
セルフホストの費用はアプリケーションサーバー 1 台、PostgreSQL データベース、オブジェクトストレージです。ドキュメントはサイジングを公表していません。Databricks は MLflow 単体では課金せず、workspace の計算量を請求します。Free Edition は商用利用を認めていません。
制限
未解決の issue と pull request は約 2,225 件です。basic-auth にはログイン試行回数の制限がなく、ログアウトはブラウザーを閉じるしかありません。--allowed-hosts などのネットワーク保護はデフォルトの uvicorn サーバーでのみ機能し、--gunicorn-opts や --waitress-opts では使えません。

良い点

  • 実験管理、モデルレジストリ、LLM トレース、評価、プロンプトを Apache-2.0 のサーバー 1 台で
  • コードに商用ライセンスの機能がない
  • SQLite で始まり、PostgreSQL と S3、GCS、Azure Blob へ拡張できる
  • OpenTelemetry 互換のトレースと、主要 LLM ライブラリ向けの 1 行 autologging

気になる点

  • basic-auth か SSO を設定しない限り、サーバーは認証なしで動く
  • 2026 年 7 月以降に 9 件のセキュリティアドバイザリが公表され、認証のないサーバーでのクリティカルな RCE を含む
  • 匿名テレメトリーがデフォルトでオン
  • スキーマのアップグレードに停止時間が必要で、バージョン混在のローリングアップグレードは不可

おすすめの人

モデルを学習させ、LLM 機能も作る Python チームで、その両方を無料のセルフホスト型の記録システム 1 つにまとめたい人たち。

MLflowの代替

MLflow:よくある質問

MLflowは使う価値があるか?
ML 実験を記録する定番の場所であり続け、今では LLM のトレースと評価も無料で付いてきます。ほかの誰かが届く前にサーバーを固めてください。 評価は5点満点中4.4点です。
MLflowの料金は?
Apache-2.0 の無料オープンソースで、費用はサーバー、データベース、オブジェクトストレージだけです。Databricks のマネージド MLflow には個別の定価がなく、Databricks の計算量で課金されます。Free Edition は個人利用のみです。
MLflowの欠点は?
basic-auth か SSO を設定しない限り、サーバーは認証なしで動く; 2026 年 7 月以降に 9 件のセキュリティアドバイザリが公表され、認証のないサーバーでのクリティカルな RCE を含む; 匿名テレメトリーがデフォルトでオン; スキーマのアップグレードに停止時間が必要で、バージョン混在のローリングアップグレードは不可.
MLflowは誰に向いているか?
モデルを学習させ、LLM 機能も作る Python チームで、その両方を無料のセルフホスト型の記録システム 1 つにまとめたい人たち。
チームや本番環境でMLflowを使うと費用はいくらか?
セルフホストの費用はアプリケーションサーバー 1 台、PostgreSQL データベース、オブジェクトストレージです。ドキュメントはサイジングを公表していません。Databricks は MLflow 単体では課金せず、workspace の計算量を請求します。Free Edition は商用利用を認めていません。
MLflowは企業データを扱っても安全か?
実行、トレース、プロンプトは自分のデータベースとオブジェクトストアに残ります。mlflow-telemetry.io への匿名の利用テレメトリーは 3.2.0 以降デフォルトでオンで、パラメーター、ファイル名、モデルの内容は含みません。MLFLOW_DISABLE_TELEMETRY=true または DO_NOT_TRACK=true で無効になります。2026 年 7 月以降のアドバイザリは 9 件で、うち 4 件が high または critical です。
MLflowの代わりになるものは?
当サイトでレビューした中で最も近い代替はLangfuse, W&B Weave, Arize Phoenix 、 Opikです。

回答確認日:2026年11月1日