Together AI의 개요
Together AI는 오픈 웨이트 AI 모델을 위해 만든 클라우드입니다. Kimi K3, DeepSeek V4, GLM-5.3, Qwen, gpt-oss 같은 모델용 공유 API, 배치 API, 파인튜닝 작업, 예약된 GPU에서 모델을 돌리는 전용 엔드포인트, 학습용 원시 GPU 클러스터까지 전 범위를 다룹니다.
공유 API 가격은 100만 토큰 단위입니다. 예를 들어 gpt-oss-120B는 입력 $0.15, 출력 $0.60, DeepSeek V4 Flash 0731은 $0.14와 $0.28, 더 새로운 V4.1 Flash는 $0.30와 $1.20입니다. 배치 작업은 최대 50% 싸게 돕니다. 전용 H100 엔드포인트는 시간당 $5.49입니다. 빌리는 H100 클러스터는 온디맨드 시간당 $3.99, 작업이 중단될 수 있음을 받아들이면 $1.99, 91일에서 180일 예약이면 $3.19입니다.
플랫폼은 완전 선불입니다. 무료 체험이 없고, 첫 크레딧 구매는 최소 $15이며, 잔액이 0이 되면 API 접근이 멈춥니다.
Together AI의 가격은 얼마입니까?
| 플랜 | 가격 | 포함 내용 |
|---|---|---|
| gpt-oss-120B | $0.15 in / $0.60 out per 1M tokens | |
| Kimi K3 | $3 in / $15 out per 1M tokens | |
| Dedicated H100 | $5.49/hour | |
| Dedicated B200 | $8.99/hour | |
| H100 GPU cluster | $3.99/hour on demand, $1.99 preemptible | |
| Fine-tuning | From $0.34 per 1M tokens |
선불, 첫 구매 최소 $15, 무료 체험 없음. 100만 토큰당, 예: gpt-oss-120B 입력 $0.15 / 출력 $0.60, Kimi K3 $3 / $15, 배치 최대 50% 할인. 전용 엔드포인트: H100 시간당 $5.49, B200 시간당 $8.99. GPU 클러스터: H100 온디맨드 시간당 $3.99, 선점형 $1.99. 파인튜닝은 100만 토큰당 $0.34부터.
Together AI, 쓸 만한 가치가 있습니까?
오픈 AI 모델을 실제로 돌리려면 보통 계정을 여럿 오가야 합니다. 프로토타입용 API, 파인튜닝용, 서비스용 GPU를 위한 계정입니다.
Together는 그 모두를 하나의 선불 잔액으로 합니다. 공유 API로 프로토타입을 만들고, 학습 토큰 100만 개당 $2.50에 gpt-oss-120B를 파인튜닝한 뒤, 전용 엔드포인트에서 서비스할 수 있으며, 작업이 커질수록 머무는 것을 가격이 보상합니다. 추론뿐 아니라 학습 클러스터까지 다루는 경쟁사는 거의 없습니다.
공유 API 가격은 시장 수준이고, 카탈로그는 지켜봐야 할 만큼 빨리 움직입니다. 2026년 10월 가격 페이지는 gpt-oss-120B를 100만 토큰당 입력 $0.15, 출력 $0.60로 나열하지만, DeepSeek V4.1 Flash는 입력 에서 예전 V4 Flash 0731의 두 배가 넘습니다($0.30 대 $0.14). 모델 이름에 고정되어 있다면 업그레이드할 때 청구액이 바뀝니다. 큰 모델에서는 캐시된 입력이 크게 할인되고, 배치 API는 최대 50% 싸게 청구됩니다.
전용 하드웨어에서 Together는 분명히 쌉니다. 전용 H100 엔드포인트는 Fireworks AI의 $8.00 대비 시간당 $5.49, B200은 $13.00 대비 $8.99입니다. 학습 클러스터는 더 싸서 H100 온디맨드 시간당 $3.99, 선점형 $1.99이지만, H200 엔드포인트와 GB200, GB300 시스템은 영업 전용입니다.
일상 사용은 더 단순해졌습니다. 예전 Build Tier 체계와 지출 기반 속도 제한은 사라졌고, 변경 기록에 따르면 대부분의 서버리스 사용자는 더 이상 한도에 닿지 않지만, 수요가 크면 여전히 429 오류(API가 "too many requests"라고 말하는 것)가 납니다.
주의할 점: 선불이고, 체험이 없으며, 잔액 0에서 바로 멈추므로 운영 계정에는 카드 자동 충전이 필요합니다. 프롬프트 저장은 기본으로 꺼진 것이 아니라 개인정보 설정이고, Zero Data Retention은 직접 켜야 하며, 켠 뒤에는 입력과 출력이 저장되거나 학습에 쓰이지 않습니다.
결론: 모델에 자체 GPU가 필요해지면 Together가 더 싸게 빌리는 곳입니다. 첫날 Zero Data Retention과 자동 충전을 켠다면 말입니다.
제 역할을 하는 곳
문서 챗봇을 만드는 2인 엔지니어 스타트업
GPU를 운영하지 않고 OpenAI식 API 뒤에 오픈 모델 서비스하기
OpenAI SDK를 Together로 향하게 하고 gpt-oss-120B를 호출합니다. 월 입력 7억 5,000만, 출력 2억 5,000만 토큰은 정가로 약 $262이며, 캐시 입력이나 배치로 더 낮아집니다.
토큰 20억 개로 지원 모델을 파인튜닝하는 ML 엔지니어
Llama 3.1 8B에 LoRA를 학습시키고 서비스하기
Llama 3.1 8B 지도 파인튜닝은 100만 토큰당 $0.34이므로 실행에 약 $680입니다. 전용 H100 한 장에서 24시간 서비스하면 월 약 $4,000입니다.
연구소의 재무 책임자
H100 64장으로 3개월 사전 학습 예산 잡기
91일에서 180일 요율 GPU 시간당 $3.19로 H100 64장 90일은 약 $441,000이고, 온디맨드로는 약 $552,000입니다. $1.99인 선점형 용량은 더 싸지만 중단될 수 있습니다.
도입 전 확인할 점
- 설정
- 계정을 만들고 최소 $15의 크레딧을 산 뒤, API 키를 만들어 OpenAI 호환 SDK로 호출합니다. 무료 체험은 없습니다.
- 연동
- OpenAI 호환 채팅, 임베딩, 배치 엔드포인트, Together SDK, 같은 콘솔의 파인튜닝과 GPU 클러스터.
- 데이터와 개인정보
- 동의 없이는 학습에 쓰이지 않습니다. Zero Data Retention은 직접 켜야 하는 설정입니다. SOC 2 Type 2와 ISO 27001:2022이며, 보고서는 trust.together.ai에서 받습니다. 내 데이터로 학습하는 AI 도구는 무엇입니까?
- 대규모 사용 시 비용
- 전용 H100 엔드포인트 하나를 한 달 내내 돌리면 약 $4,000($5.49 x 730시간)입니다. 8-GPU H100 클러스터는 온디맨드로 월 약 $23,300, 91일에서 180일 예약으로 $18,600입니다.
- 제한
- 2026년 10월부터 서버리스에는 고정된 등급별 속도 제한이 없지만 부하가 크면 429를 돌려줄 수 있습니다. 배치는 모델당 대기열 토큰 최대 300억 개를 허용합니다.
좋은 점
- 추론, 파인튜닝, GPU 클러스터를 하나의 선불 계정으로
- 전용 H100 엔드포인트 시간당 $5.49로 Fireworks의 $8.00보다 쌉니다
- 배치 API 최대 50% 할인
- SOC 2 Type 2와 ISO 27001:2022
아쉬운 점
- 무료 체험이 없고 첫 구매 최소 $15
- 자동 충전을 켜지 않으면 잔액 0에서 API 접근이 멈춥니다
- Zero Data Retention을 직접 켜야 합니다
- H200, GB200, GB300 용량은 영업 상담이 필요합니다
추천 대상
API 호출에서 파인튜닝과 자체 GPU로 한 제공업체와 함께 옮겨 가고 싶은 오픈 모델 기반 팀.
Together AI 대안
Together AI: 자주 묻는 질문
- Together AI, 쓸 만한 가치가 있습니까?
- Together는 $15 API 충전부터 예약 H100 클러스터까지 모든 단계에서 오픈 모델을 청구서 하나로 돌리며, 전용 하드웨어는 전문 호스트보다 쌉니다. 평점은 5점 만점에 4.5점입니다.
- Together AI의 가격은 얼마입니까?
- 선불, 첫 구매 최소 $15, 무료 체험 없음. 100만 토큰당, 예: gpt-oss-120B 입력 $0.15 / 출력 $0.60, Kimi K3 $3 / $15, 배치 최대 50% 할인. 전용 엔드포인트: H100 시간당 $5.49, B200 시간당 $8.99. GPU 클러스터: H100 온디맨드 시간당 $3.99, 선점형 $1.99. 파인튜닝은 100만 토큰당 $0.34부터.
- Together AI의 단점은 무엇입니까?
- 무료 체험이 없고 첫 구매 최소 $15; 자동 충전을 켜지 않으면 잔액 0에서 API 접근이 멈춥니다; Zero Data Retention을 직접 켜야 합니다; H200, GB200, GB300 용량은 영업 상담이 필요합니다.
- Together AI에 적합한 사람은 누구입니까?
- API 호출에서 파인튜닝과 자체 GPU로 한 제공업체와 함께 옮겨 가고 싶은 오픈 모델 기반 팀.
- 팀이나 프로덕션 환경에서 Together AI의 비용은 얼마입니까?
- 전용 H100 엔드포인트 하나를 한 달 내내 돌리면 약 $4,000($5.49 x 730시간)입니다. 8-GPU H100 클러스터는 온디맨드로 월 약 $23,300, 91일에서 180일 예약으로 $18,600입니다.
- Together AI에 회사 데이터를 맡겨도 안전합니까?
- 동의 없이는 학습에 쓰이지 않습니다. Zero Data Retention은 직접 켜야 하는 설정입니다. SOC 2 Type 2와 ISO 27001:2022이며, 보고서는 trust.together.ai에서 받습니다.
- Together AI의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Fireworks AI, Groq, Modal 및 OpenRouter입니다.
답변 확인일: 2026년 10월 22일.
Together AI 개발사입니까? 이 평점을 사이트에 표시하십시오
