Braintrust의 개요
Braintrust는 평가와 관측을 합친 제품입니다. 프롬프트와 모델을 데이터셋에 대해 비교하는 실험을 돌리고, 코드, LLM 심사자, 사람의 검토로 점수를 매긴 뒤, 운영 트레이스를 기록하고 같은 채점기로 온라인 채점합니다. 프롬프트 플레이그라운드, 모델 호출을 라우팅하는 AI 게이트웨이, MCP 서버, bt 명령줄 도구, 로그를 분석하고 평가 초안을 쓰는 AI 에이전트 Loop도 제공합니다.
트레이스는 OpenAI, Anthropic, LangChain, LlamaIndex, Pydantic AI, Google ADK 등을 위한 SDK와 통합, 또는 OpenTelemetry로 들어옵니다. SDK는 업로드 전에 민감한 데이터를 가릴 수 있습니다. 오픈소스 autoevals 라이브러리(MIT)가 흔히 쓰는 채점기를 제공합니다.
무료 Starter 요금제는 처리 데이터 1 GB, 점수 10,000개, 모델 크레딧 $10, 14일 보관, 사용자 무제한을 포함합니다. Pro는 월 $249에 5 GB, 점수 50,000개, 모델 크레딧 $100, 30일 보관(GB당 월 $0.50로 180일까지 연장 가능)입니다. 데이터 플레인 자체 호스팅, SAML SSO, HIPAA 계약은 Enterprise 전용입니다. Braintrust는 2026년 2월 $80 million 규모의 시리즈 B를 유치했습니다.
Braintrust의 가격은 얼마입니까?
| 플랜 | 가격 | 포함 내용 |
|---|---|---|
| Starter | Free | 데이터 1 GB, 점수 10k, 모델 크레딧 $10, 14일 보관, 사용자 무제한. 이후 GB당 $4, 점수 1,000개당 $2.50 |
| Pro | $249/month | 5 GB, 점수 50k, 모델 크레딧 $100, 30일 보관. 이후 GB당 $3, 점수 1,000개당 $1.50 |
| Enterprise | Custom | SAML, BAA, 자체 호스팅 데이터 플레인 |
Starter 무료(데이터 1 GB, 점수 10k, 모델 크레딧 $10, 14일 보관, 사용자 무제한. 이후 GB당 $4, 점수 1,000개당 $2.50). Pro 월 $249(5 GB, 점수 50k, 모델 크레딧 $100, 30일 보관. 이후 GB당 $3, 점수 1,000개당 $1.50). Enterprise 맞춤, SAML, BAA, 자체 호스팅 데이터 플레인 포함. 자격을 갖춘 스타트업은 6~12개월 동안 Pro 무료.
Braintrust, 쓸 만한 가치가 있습니까?
프롬프트를 바꿨고 데모는 괜찮아 보였는데, 일주일 뒤 고객이 그 변경이 조용히 망가뜨린 답을 발견합니다. 변경이 실제로 도움이 되었는지 아는 것이 AI 제품 출시의 어려운 부분입니다.
Braintrust는 이 질문을 먼저, 로깅을 그다음으로 놓고 만들어졌습니다. 테스트 실행, 저장된 테스트 세트, 채점 규칙, 실시간 채점이 모두 하나의 데이터 모델을 공유하므로, 운영에서 나온 나쁜 답이 클릭 몇 번으로 테스트 케이스가 됩니다. 같은 채점기가 병합 전에는 CI에서, 병합 후에는 실제 트래픽에서 돌아갑니다.
돈은 사람이 아니라 처리한 데이터와 점수에 내며, 모 든 요금제에서 사용자가 무제한입니다. 이는 LangSmith의 좌석 과금보다 40명 규모 제품 조직에 친절하고, 긴 트레이스를 쓰는 에이전트에는 덜 친절합니다. Pro의 월 $249는 5 GB와 점수 50,000개를 포함하고, 그 이상은 GB당 $3, 점수 1,000개당 $1.50이므로, 모든 운영 요청을 LLM 심사자로 채점하는 항목이 가장 빨리 늘어납니다. 데이터는 기본적으로 Starter에서 14일, Pro에서 30일 보관되며, Pro에서는 GB당 월 $0.50로 180일까지 쓸 수 있습니다.
주의할 점: 트레이스를 자체 클라우드에 두려면 Enterprise 계약이 필요하고, 서버는 오픈소스가 아닙니다. 설계 자체는 탄탄합니다. 자체 호스팅 문서에 따르면 데이터 플레인(API, Postgres, Redis, 오브젝트 스토리지, Brainstore 엔진)이 공식 Terraform 모듈로 고객의 AWS, GCP, Azure 계정에서 실행되고, SDK는 데이터를 그곳으로 바로 보내며, Braintrust가 호스팅하는 컨트롤 플레인은 프로젝트 이름, 해시된 API 키, 로그인 정보 같은 메타데이터만 갖습니다. 상태와 청구 원격 측정은 기본적으로 여전히 돌아갑니다. Braintrust의 보안 페이지는 SOC 2 Type II를 밝히고 BAA를 제공하며, 회사 스스로 완전한 GDPR 준수를 위해 EU에서 자체 호스팅이나 BYOC 배포를 권합니다.
연결 자체에는 종속이 거의 없습니다. OpenTelemetry 수집과 MIT 라이선스 autoevals 채점기는 다른 곳에서도 작동하기 때문입니다. 종속은 시간이 지나며 쌓이는 평가 이력, 데이터셋, 온라인 채점기에 있습니다.
결론: Braintrust에 점수를 오래 쌓을수록 더 쓸모 있어지고 떠나기도 어려워집니다. 그 점수 관리가 바로 Langfuse나 Arize Phoenix보다 잘하는 일이므로, 그 거래를 알고 들어가십시오.
제 역할을 하는 곳
고객 지원 에이전트를 출시하는 엔지니어 6명 팀
프롬프트 변경이 조용히 답을 망가뜨리는 일 막기
과거 티켓으로 만든 기준 데이터셋이 모든 풀 리퀘스트에서 실험으로 돌고, autoevals와 LLM 심사자가 채점하며, 성능 저하가 있으면 병합이 막힙니다. 월 $249인 Pro의 점수 50,000개는 CI와 표본 운영 채점을 감당합니다.
EU 고객이 있는 핀테크의 ML 플랫폼 리드
고객 데이터를 미국 SaaS로 보내지 않고 LLM 호출 추적하기
Enterprise 계약으로 Terraform을 써서 데이터 플레인을 회사 자체 AWS나 GCP 계정에 배포합니다. 트레이스, 프롬프트, 데이터셋은 자체 KMS 키 아래 해당 리전에 머물고, Braintrust는 UI와 메타데이터만 호스팅합니다.
40명 규모 AI 스타트업의 제품 책임자
PM과 엔지니어가 모델 품질을 검토할 한곳 마련하기
사용자가 무제한이라 좌석 협상이 없습니다. PM은 트레이스에 사람 검토 점수를 달고 엔지니어는 실험을 돌립니다. 청구액은 데이터 양을 따라가므로 인원보다 큰 페이로드를 줄이는 것이 더 중요합니다.
도입 전 확인할 점
- 설정
- 프로젝트를 만들고 Python이나 TypeScript SDK를 설치한 뒤 모델 클라이언트를 감싸고 작은 데이터셋으로 첫 Eval()을 실행합니다. 기존 OpenTelemetry 익스포터를 Braintrust로 향하게 할 수도 있습니다.
- 연동
- OpenAI, Anthropic, LangChain, LlamaIndex, Pydantic AI, Google ADK용 SDK와 래퍼. OpenTelemetry. AI 게이트웨이. MCP 서버. bt CLI.
- 데이터와 개인정보
- SOC 2 Type II. 저장 시와 전송 중 데이터 암호화. 셀프서비스 약관은 고객 데이터를 AI 모델 학습이나 개선에 쓰는 것을 금지합니다. 보관 정책 설정 가능. 자체 호스팅 데이터 플레인, SAML, BAA는 Enterprise에서만. 내 데이터로 학습하는 AI 도구는 무엇입니까?
- 대규모 사용 시 비용
- Pro에서 월 20 GB를 기록하는 운영 에이전트는 $249에 15 GB × $3를 더해 약 $294를 내며, 여기에 점수 1,000개당 $1.50의 추가 점수와 30일을 넘는 보관의 GB당 월 $0.50가 더해집니다.
- 제한
- Starter는 데이터를 14일 보관하고 프로젝트당 사람 검토 점수 하나를 허용합니다. Pro는 연장하지 않으면 30일 보관합니다. 맞춤 차트와 환경에는 Pro가 필요합니다.
좋은 점
- 평가, 데이터셋, 온라인 채점이 하나의 데이터 모델을 공유합니다
- 무료를 포함한 모든 요금제에서 사용자 무제한
- 하이브리드 자체 호스팅으로 트레이스를 AWS, GCP, Azure 계정에 둡니다
- OpenTelemetry 수집과 오픈소스 autoevals 채점기
- SOC 2 Type II. Enterprise에서 BAA 제공
아쉬운 점
- Pro가 월 $249부터로 무료에서 크게 뛰어오릅니다
- 운영 트래픽의 LLM 심사자 채점은 Pro에서 점수 1,000개당 $1.50가 추가됩니다
- 기본 보관 기간이 14일 또는 30일입니다
- 서버가 오픈소스가 아니 며, 자체 호스팅과 SAML은 Enterprise에서만
추천 대상
호스팅 추적과 함께 평가 중심 개발을 원하고 관리형 서비스에 기꺼이 돈을 내는 제품팀.
Braintrust 대안
Braintrust: 자주 묻는 질문
- Braintrust, 쓸 만한 가치가 있습니까?
- Braintrust는 마지막 변경이 제품을 더 좋게 만들었는지가 가장 어려운 질문인 팀을 위한 도구입니다. 사람이 아니라 데이터로 과금하므로 큰 팀에는 맞고, 로그를 많이 남기는 에이전트에는 아픕니다. 평점은 5점 만점에 4.3점입니다.
- Braintrust의 가격은 얼마입니까?
- Starter 무료(데이터 1 GB, 점수 10k, 모델 크레딧 $10, 14일 보관, 사용자 무제한. 이후 GB당 $4, 점수 1,000개당 $2.50). Pro 월 $249(5 GB, 점수 50k, 모델 크레딧 $100, 30일 보관. 이후 GB당 $3, 점수 1,000개당 $1.50). Enterprise 맞춤, SAML, BAA, 자체 호스팅 데이터 플레인 포함. 자격을 갖춘 스타트업은 6~12개월 동안 Pro 무료.
- Braintrust의 단점은 무엇입니까?
- Pro가 월 $249부터로 무료에서 크게 뛰어오릅니다; 운영 트래픽의 LLM 심사자 채점은 Pro에서 점수 1,000개당 $1.50가 추가됩니다; 기본 보관 기간이 14일 또는 30일입니다; 서버가 오픈소스가 아니며, 자체 호스팅과 SAML은 Enterprise에서만.
- Braintrust에 적합한 사람은 누구입니까?
- 호스팅 추적과 함께 평가 중심 개발을 원하고 관리형 서비스 에 기꺼이 돈을 내는 제품팀.
- 팀이나 프로덕션 환경에서 Braintrust의 비용은 얼마입니까?
- Pro에서 월 20 GB를 기록하는 운영 에이전트는 $249에 15 GB × $3를 더해 약 $294를 내며, 여기에 점수 1,000개당 $1.50의 추가 점수와 30일을 넘는 보관의 GB당 월 $0.50가 더해집니다.
- Braintrust에 회사 데이터를 맡겨도 안전합니까?
- SOC 2 Type II. 저장 시와 전송 중 데이터 암호화. 셀프서비스 약관은 고객 데이터를 AI 모델 학습이나 개선에 쓰는 것을 금지합니다. 보관 정책 설정 가능. 자체 호스팅 데이터 플레인, SAML, BAA는 Enterprise에서만.
- Braintrust의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 LangSmith입니다.
답변 확인일: 2026년 10월 26일.
Braintrust 개발사입니까? 이 평점을 사이트에 표시하십시오
