MLflow의 개요
MLflow는 2018년 머신러닝 기록 관리를 위한 Databricks의 오픈소스 도구로 시작했습니다. 실험 추적은 학습 실행마다 파라미터, 지표, 파일을 기록하고, 모델 레지스트리는 그 결과로 나온 모델을 배포용으로 버전 관리합니다. 3.x 계열부터는 LLM 애플리케이션도 다룹니다. 트레이싱은 모델 호출, 검색, 도구 호출을 각각 span으로 기록하며, OpenAI, Anthropic, LangChain, LlamaIndex, DSPy 등에 한 줄짜리 자동 로깅을 제공하고 OpenTelemetry 데이터도 받습니다. mlflow.genai.evaluate는 내장 LLM 심사자나 사용자 정의 채점기로 데이터셋에 대해 앱을 채점하고, 프롬프트 레지스트리는 옮길 수 있는 별칭과 함께 변경 불가능한 프롬프트 버전을 보관하며, AI Gateway는 요청을 여러 모델 제공사로 라우팅합니다.
저장소 전체가 Apache-2.0이며 상용 라이선스 폴더는 없습니다. 버전 3.17.2는 2026년 10월 21일에 나왔습니다. Python 패키지는 Python 3.10 이상이 필요하고, 트레이싱용 TypeScript와 Java 클라이언트가 있습니다.
자체 호스팅은 무료입니다. 관리형 MLflow는 Databricks, AWS SageMaker, Azure ML, Nebius, GCP가 제공합니다. Databricks는 별도 가격을 공개하지 않습니다. MLflow는 워크스페이스에 포함되고 워크스페이스는 사용한 연산만큼 청구되며, Free Edition은 개인의 비상업적 용도로만 쓸 수 있습니다.
MLflow, 쓸 만한 가치가 있습니까?
MLflow는 자체 모델을 학습하면서 LLM 기능도 내놓는 팀에게 합리적인 단일 시스템입니다. Apache-2.0 서버 하나가 학습 실행, 등록 모델, 에이전트 트레이스, 평가 결과, 프롬프트 버전 을 모두 담고, 코드의 어떤 기능도 유료 라이선스 뒤에 있지 않습니다. GitHub 스타는 약 28,600개이고, 2026년 10월 21일 v3.17.2를 냈으며, README는 월 다운로드가 6,000만 회를 넘는다고 주장합니다.
LLM 쪽은 이제 그것만으로도 설 수 있을 만큼 갖춰졌습니다. 트레이싱은 mlflow.openai.autolog()처럼 라이브러리마다 한 줄이고, 문서에 따르면 별도의 mlflow-tracing 패키지는 프로덕션 서비스용으로 설치 크기가 95% 작습니다. 평가는 데이터셋을 앱에 통과시키고 Correctness, Guidelines 같은 내장 심사자나 평범한 Python @scorer 함수로 채점하며, 검토자의 피드백은 트레이스 자체에 저장됩니다. Langfuse와 비교하면 운영 부담이 가볍습니다. MLflow는 SQLite 파일(3.7.0부터 기본값)로 시작해 PostgreSQL과 S3, GCS, Azure Blob 스토리지로 커지지만, Langfuse의 프로덕션 빌드에는 ClickHouse, Postgres, Redis, 객체 스토리지가 필요합니다. Langfuse는 TypeScript 웹 앱과 공개된 클라우드 가격을 갖춘 더 집중된 LLM 도구이고, MLflow의 무게중심은 여전히 Python입니다.
약점은 기본 보안입니다. mlflow server는 --app-name basic-auth로 시작하지 않으면 로그인을 요구하지 않으며, 2026년의 권고는 바로 그 구성에 몰려 있습니다. 10월에는 인증 없는 서버에서의 치명적 원격 코드 실행과 높은 심각도의 임의 파일 읽기가 나왔고, 둘 다 3.17.0에서 수정됐습니다. 이전 버전은 관리자 비밀번호 password1234를 기본으로 제공했는데, 지금은 거부됩니다. 익명 사용 텔레메트리는 3.2.0부터 기본으로 켜져 있습니다. 파라미터, 파일 이름, 모델 내용은 제외하며, MLFLOW_DISABLE_TELEMETRY=true나 DO_NOT_TRACK=true로 끕니다.
업그레이드도 주의가 필요합니다. 버전 3.17.0은 모든 쓰기 프로세스를 멈추고, 백업을 만들고, mlflow db upgrade를 실행해야 하며, 버전이 섞인 롤링 업그레이드는 지원하지 않습니다. 데이터베이스를 직접 소유하는 대가이자, 바로 그 소유가 핵심이기도 합니다.
Weights & Biases는 실험 대시보드용으로 더 다듬어진 호스팅 서비스이며, LLM 계층인 Weave는 데이터 용량으로 청구합니다. Pro는 1.5 GB에 월 $60부터이고 이후 MB당 $0.10입니다. MLflow 비용은 작은 서버와 Postgres 인스턴스 가격이며, 실행 기록은 직접 백업하고 조회할 수 있는 테이블에 남습니다. 대부분의 팀에게는 더 예쁜 차트보다 이 점이 더 중요합니다.
제 역할을 하는 곳
수요 예측 모델을 학습하는 소매업체의 4인 데이터 과학팀
수백 번의 학습 실행을 비교하고 가장 좋은 모델을 프로덕션으로 올리기
실행마다 파라미터, 지표, 모델 파일을 공유 MLflow 서버에 기록합니다. 레지스트리가 모델 버전을 관리하고 별칭 하나가 프로덕션 모델을 표시합니다. 비용은 서버, PostgreSQL 데이터베이스, S3 버킷뿐입니다.
기존 ML 스택에 LLM 도우미를 더하는 은행의 플랫폼 엔지니어
별도 관측 제품을 사지 않고 도우미를 트레이싱하고 평가하기
자동 로깅과 mlflow-tracing 패키지가 ML팀이 이미 운영하는 MLflow 서버로 span을 보내고, mlflow.genai.evaluate가 테스트 세트로 릴리스를 채점합니다. 운영 시작 전에 basic-auth나 SSO를 켜고, 2026년 10월 권고를 막기 위해 3.17.0 이상으로 업그레이드하십시오.
이미 Databricks를 쓰는 회사의 분석 책임자
서버를 운영하지 않고 분석가에게 추적되는 실험과 관리되는 모델 제공하기
관리형 MLflow는 워크스페이스에 내장돼 Unity Catalog, Model Serving과 연결되며 별도 MLflow 요금이 없습니다. 청구액은 작업이 쓰는 Databricks 연산이며, Databricks는 이를 MLflow 가격으로 따로 공개하지 않습니다.
도입 전 확인할 점
- 설정
- uvx mlflow server가 SQLite 기반의 로컬 서버를 포트 5000에서 시작합니다. 프로덕션 구성은 Docker Compose 묶음(MLflow, PostgreSQL, RustFS)이나 공식 Helm 차트를 씁니다.
- 연동
- Python, TypeScript, Java SDK. OpenAI, Anthropic, LangChain, LlamaIndex, DSPy, Pydantic AI, Vercel AI용 자동 로깅. OpenTelemetry 수집과 내보내기. S3, GCS, Azure Blob의 아티팩트 저장소. Databricks, SageMaker, Azure ML, Nebius, GCP의 관리형 버전.
- 데이터와 개인정보
- 실행, 트레이스, 프롬프트는 사용자의 데이터베이스와 객체 저장소에 남습니다. mlflow-telemetry.io로 가는 익명 사용 텔레메트리는 3.2.0부터 기본으로 켜져 있으며 파라미터, 파일 이름, 모델 내용은 제외합니다. MLFLOW_DISABLE_TELEMETRY=true나 DO_NOT_TRACK=true로 끕니다. 2026년 7월 이후 권고 아홉 건, 그중 네 건이 높음 또는 치명적 등급입니다.
- 대규모 사용 시 비용
- 자체 호스팅 비용은 애플리케이션 서버 한 대, PostgreSQL 데이터베이스, 객체 스토리지입니다. 문서는 규모 산정 기준을 공개하지 않습니다. Databricks는 별도 MLflow 요금 없이 워크스페이스 연산을 청구하며, Free Edition은 상업적 사용을 제외합니다.
- 제한
- 열린 이슈와 풀 리퀘스트 약 2,225개. basic-auth에는 로그인 시도 제한이 없고 브라우저를 닫아야만 로그아웃됩니다. --allowed-hosts 같은 네트워크 보호는 기본 uvicorn 서버에서만 동작하고 --gunicorn-opts나 --waitress-opts에서는 동작하지 않습니다.
좋은 점
- 실험 추적, 모델 레지스트리, LLM 트레이싱, 평가, 프롬프트를 하나의 Apache-2.0 서버에
- 코드베이스에 상용 라이선스 기능 없음
- SQLite로 시작해 PostgreSQL과 S3, GCS, Azure Blob으로 확장
- 주요 LLM 라이브러리용 한 줄 자동 로깅을 갖춘 OpenTelemetry 호환 트레이싱
아쉬운 점
- basic-auth나 SSO를 설정하지 않으면 서버가 인증 없이 실행됨
- 2026년 7월 이후 보안 권고 아홉 건, 인증 없는 서버의 치명적 RCE 포함
- 익명 텔레메트리 기본 활성
- 스키마 업그레이드에 다운타임 필요, 버전 혼합 롤링 업그레이드 불가
추천 대상
모델을 학습하고 LLM 기능도 만들며, 둘 모두를 위한 무료 자체 호스팅 기록 시스템을 원하는 Python 팀.
MLflow 대안
MLflow: 자주 묻는 질문
- MLflow, 쓸 만한 가치가 있습니까?
- 여전히 ML 실험을 기록하는 기본 장소이며, 이제 LLM 트레이싱과 평가까지 무료로 딸려 옵니다. 다른 사람이 접근하기 전에 서버부터 잠그십시오. 평점은 5점 만점에 4.4점입니다.
- MLflow의 가격은 얼마입니까?
- Apache-2.0의 무료 오픈소스이며 서버, 데이터베이스, 객체 스토리지 비용만 냅니다. Databricks의 관리형 MLflow는 별도 정가 없이 Databricks 연산으로 청구되며, Free Edition은 개인 용도 전용입니다.
- MLflow의 단점은 무엇입니까?
- basic-auth나 SSO를 설정하지 않으면 서버가 인증 없이 실행됨; 2026년 7월 이후 보안 권고 아홉 건, 인증 없는 서버의 치명적 RCE 포함; 익명 텔레메트리 기본 활성; 스키마 업그레이드에 다운타임 필요, 버전 혼합 롤링 업그레이드 불가.
- MLflow에 적합한 사람은 누구입니까?
- 모델을 학습하고 LLM 기능도 만들며, 둘 모두를 위한 무료 자체 호스팅 기록 시스템을 원하는 Python 팀.
- 팀이나 프로덕션 환경에서 MLflow의 비용은 얼마입니까?
- 자체 호스팅 비용은 애플리케이션 서버 한 대, PostgreSQL 데이터베이스, 객체 스토리지입니다. 문서는 규모 산정 기준을 공개하지 않습니다. Databricks는 별도 MLflow 요금 없이 워크스페이스 연산을 청구하며, Free Edition은 상업적 사용을 제외합니다.
- MLflow에 회사 데이터를 맡겨도 안전합니까?
- 실행, 트레이스, 프롬프트는 사용자의 데이터베이스와 객체 저장소에 남습니다. mlflow-telemetry.io로 가는 익명 사용 텔레메트리는 3.2.0부터 기본으로 켜져 있으며 파라미터, 파일 이름, 모델 내용은 제외합니다. MLFLOW_DISABLE_TELEMETRY=true나 DO_NOT_TRACK=true로 끕니다. 2026년 7월 이후 권고 아홉 건, 그중 네 건이 높음 또는 치명적 등급입니다.
- MLflow의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Langfuse, W&B Weave, Arize Phoenix 및 Opik입니다.
답변 확인일: 2026년 11월 1일.
MLflow 개발사입니까? 이 평점을 사이트에 표시하십시오
