Cerebras vs Groq vs SambaNova: 오픈 모델을 빠르게 돌릴 곳과 그 비용
작성자 Sheela ·
제품이 모델 응답을 사람에게 기다리게 하거나, 답하기 전에 모델 호출을 열두 번쯤 연달아 한다면, GPU 클라우드보다 빠르게 오픈 모델 토큰을 파는 회사가 세 곳 있습니다. Cerebras, Groq, SambaNova입니다. 세 회사 모두 이를 위해 자체 칩을 만들었습니다. 차이는 제공하는 모델, 가격, 계약 없이 살 수 있는 양, 그리고 각 회사가 얼마나 안정적으로 보이는가에 있습니다. 이 가이드는 오픈 모델을 프로덕션에서 어디에 돌릴지 정하려는 팀을 위한 것입니다.
아래 모든 수치는 Cerebras, Groq, SambaNova Cloud 리뷰, 각 업체 페이지, 또는 같은 모델을 제공하는 모든 업체를 측정하는 Artificial Analysis에서 가져왔으며, 모두 2026년 11월 7일에 확인했습니다. 저희가 직접 이 서비스들을 사용해 보지는 않았습니다.
세 가지 칩, 하나의 문제
언어 모델은 토큰을 하나씩 쓰고, 토큰마다 칩은 모델 가중치를 메모리에서 읽어야 합니다. GPU에서는 이 가중치가 프로세서 옆 고대역폭 메모리(HBM)에 있고, 계산보다 가중치를 옮기는 일이 한 사용자에게 답이 도착하는 속도를 좌우하는 경우가 대부분입니다. 세 회사는 이 단계를 각기 다른 방식으로 공략합니다.
- Cerebras: 웨이퍼만 한 칩 하나. 칩 제조사는 보통 실리콘 웨이퍼 하나를 수십 개의 칩으로 자릅니다. Cerebras는 웨이퍼 전체를 하나의 프로세서로 남겨 두므로 훨씬 많은 메모리와 연산이 같은 실리콘 위에 있고, 데이터가 칩 사이를 오갈 필요가 없습니다. WSE-3는 46,225 mm²에 4조 개의 트랜지스터와 900,000개의 코어를 담고 있습니다. 한 변이 약 21.5 cm인 정사각형입니다.
- Groq: 칩 위의 메모리, 미리 짜 둔 타이밍. Groq의 Language Processing Unit은 가중치를 HBM이 아닌 칩 위 SRAM에 둡니다. 칩당 230 MB이며, Groq는 대역폭을 80 TB/s 이상으로 제시하는데 GPU 메모리는 약 8 TB/s입니다. 컴파일러가 모든 단계를 클록 사이클 단위로 계획하므로 캐시를 기다리는 일이 없습니다. 대신 칩 하나에는 큰 모델의 작은 조각만 들어가므로, 각 모델은 연결된 많은 칩에 나뉘어 올라갑니다.
- SambaNova: 다시 짤 수 있는 조립 라인. SambaNova의 Reconfigurable Dataflow Unit은 컴파일러가 모델의 한 구간 전체를 칩 위에 펼쳐 놓게 해, 결과가 메모리를 오가지 않고 다음 단계로 흘러갑니다. SN40L은 520 MiB 온칩 메모리에 64 GiB HBM과 최대 1.5 TiB 일반 DDR 메모리를 더해, 한 시스템이 많은 모델을 담고 빠르게 전환할 수 있습니다.
사는 것은 사용자 한 명당 속도이지, 더 싼 토큰이 아닙니다. 또 칩마다 모델별로 별도의 컴파일 작업이 필요한데, 저희가 보기에는 이것이 세 회사 모두 메뉴가 짧은 이유 중 하나입니다.
같은 모델 나란히 보기
세 회사의 공유 API에 모두 있는 모델은 OpenAI의 gpt-oss-120b 하나뿐입니다. 그래서 가장 공정한 비교가 되며, 기준점으로 저희가 리뷰한 GPU 클라우드 두 곳도 함께 넣었습니다. 출력 속도는 Artificial Analysis의 대표 수치로, 요청 전체에 걸친 초당 토큰 수를 직전 5일간 짧은, 중간, 긴 프롬프트에 대해 평균한 값입니다. gpt-oss-120b는 답하기 전에 추론하므로, 마지막 열인 실제 답변의 첫 토큰까지의 시간이 사용자가 느끼는 것에 더 가깝습니다.
| gpt-oss-120b 제공처 | 입력 $/1M | 출력 $/1M | 출력 속도(토큰/초) | 첫 토큰(초) | 첫 답변 토큰(초) |
|---|---|---|---|---|---|
| Cerebras | $0.35 | $0.75 | 1,347 | 0.65 | 2.26 |
| Groq | $0.15 | $0.60 | 338 | 1.02 | 4.90 |
| SambaNova | $0.22 | $0.59 | 417 | 2.56 | 6.74 |
| Together AI | $0.15 | $0.60 | 65 | 1.53 | 46.23 |
| Fireworks AI | $0.15 | $0.60 | 측정 없음 | 측정 없음 | 측정 없음 |
가격은 각 업체의 정가입니다(Cerebras, Groq, SambaNova, Fireworks, 그리고 저희 Together AI 리뷰). 속도는 2026년 11월 7일에 확인한 Artificial Analysis 수치입니다. Artificial Analysis는 이 모델에 대해 Fireworks를 싣고 있지 않습니다.
세 가지가 눈에 띕니다. Cerebras는 Groq나 SambaNova보다 3~4배 빠르고 더 일찍 시작하지만, 입력 가격은 Groq의 두 배가 넘습니다. SambaNova는 일단 시작하면 Groq보다 빨리 쓰지만, 첫 토큰을 내기까지 Groq보다 두 배 넘게 걸리며, 이는 소리 내어 말하는 모든 용도에서 중요합니다. 그리고 업체 자체 수치는 측정값보다 높습니다. Cerebras 문서는 초당 약 3,000토큰, Groq는 약 500토큰이라고 하는데, Artificial Analysis가 첫 토큰을 기다리는 시간까지 포함해 요청 전체를 세는 것이 한 이유입니다.
Artificial Analysis는 각 업체의 답이 OpenAI 기준 버전과 일치하는지도 확인합니다. SambaNova는 98.5%, Cerebras는 91.8%, Groq는 90.3%, Together AI는 81.1%였습니다. 다만 점수의 범위가 넓으므로(Groq는 82.7%에서 97.9%), 순위가 아니라 자신의 프롬프트로 시험해 볼 이유로 읽으십시오.
나머지 겹치는 모델은 부분적입니다.
| 모델 | 제공처 | 입력 / 출력, 100만 토큰당 $ | 속도(토큰/초) | 첫 토큰(초) |
|---|---|---|---|---|
| Qwen 3.8 27B | Cerebras | $0.99 / $1.49 | 약 1,850(업체 수치) | 측정 없음 |
| Qwen 3.8 27B | Groq(프리뷰) | $0.80 / $4.00 | 약 450(업체 수치) | 측정 없음 |
| Llama 3.3 70B | Groq(Enterprise 전용) | 영업팀 문의 | 211 | 1.34 |
| Llama 3.3 70B | SambaNova | $0.60 / $1.20 | 121 | 1.13 |
| GLM-5.3 | SambaNova | $2.80 / $8.80 | 측정 없음 | 측정 없음 |
| GLM-5.3 | Together AI | $1.40 / $4.40 | 159 | 1.08 |
| GLM-5.3 | Fireworks AI(Fast 등급) | $2.10 / $6.60 | 207 | 1.53 |
측정값은 Artificial Analysis의 Llama 3.3 70B와 GLM-5.3 페이지에서 가져왔고, "업체 수치"는 해당 업체 문서의 수치입니다. Fireworks의 GLM-5.3 표준 등급은 $1.40와 $4.40입니다. GLM-5.3 행에는 경고가 담겨 있습니다. SambaNova는 Together AI의 두 배 가격을 받지만, Artificial Analysis에는 SambaNova GLM-5.3 측정값이 없어 그 웃돈으로 무엇을 얻는지 보여 주지 못합니다.
한 달 비용
gpt-oss-120b로 월 입력 20억, 출력 5억 토큰의 프로덕션 부하를 생각해 보십시오. 정가로 Cerebras에서 약 $1,075, SambaNova에서 $735, Groq, Together AI, Fireworks AI에서는 $600입니다. 급하지 않은 작업이라면 Fireworks의 배치 등급은 50% 할인으로 약 $300이 되고, Together AI의 배치 할인도 최대 50%입니다.
프로덕션에서 발목을 잡는 한도
가격표에는 실제로 출시할 수 있는지를 가르는 상한이 보이지 않습니다.
- Cerebras. $5 체험 크레딧은 30일간 유효하고 분당 5건을 허용하며 컨텍스트를 65k 토큰으로 줄입니다. 끝나면 크레딧을 살 때까지 접근이 멈춥니다. 종량제는 gpt-oss-120b에서 분당 1,000건과 캐시되지 않은 토큰 100만 개를 하루 상한 없이 허용하지만, Qwen 3.8 27B는 분당 300건에 머뭅니다. gpt-oss-120b의 컨텍스트는 131k 토큰입니다. 공유 모델 두 개 밖의 것은 Dedicated Inference와 계약이 필요합니다.
- Groq. 무료 플랜은 주요 모델에서 분당 30건, 하루 1,000건, 분당 8,000토큰을 허용합니다. 유료 한도는 콘솔에만 표시되고 공개되지 않습니다. gpt-oss-120b는 131,072토큰 컨텍스트에 출력 65,536토큰이 상한이고, Qwen 프리뷰는 출력 16,384토큰이 상한입니다. Llama 두 모델은 모두 Enterprise 전용입니다.
- SambaNova. 무료 등급은 모델당 하루 20건입니다. 카드를 등록한 Developer 등급은 대부분 모델에서 분당 60건, 하루 12,000건, 합계 하루 2,000만 토큰까지입니다. 위 부하는 하루 약 8,300만 토큰이 필요해 상한의 4배이므로, 견적제 Enterprise 구독이 필요합니다. Llama 3.3 70B는 답변 하나를 3,072토큰으로 제한합니다.
세 회사 모두 일부 모델을 "프리뷰"로 표시하고 짧은 예고로 내릴 수 있다고 합니다. 저희가 확인한 날 SambaNova 문서와 실시간 모델 목록이 서로 달랐으므로, 문서가 아니라 모델 목록 엔드포인트로 확인하십시오.
데이터는 어떻게 되는가
- Cerebras는 추론 API의 프롬프트, 요청, 출력을 보관하지 않는다고 하지만, 프롬프트 캐시 항목은 5분에서 1시간 동안 남습니다. SOC 2 Type 2 보고서와 데이터 처리 계약(DPA)은 요청 시 제공되며, DPA는 기업 계정에 적용됩니다.
- Groq는 기본적으로 입력과 출력을 저장하지 않지만, 안정성과 악용 감시를 위해 최대 30일간 로그를 남길 수 있습니다. Zero Data Retention을 켜면 이를 막을 수 있고, 모든 고객이 설정할 수 있습니다. SOC 2 Type II 보고서를 게시하고 HIPAA 비즈니스 어소시에이트 부록도 제공합니다. 배치 파일은 삭제하지 않으면 최대 30일간 보관됩니다.
- SambaNova는 제품 페이지에서 프롬프트를 전혀 수집하지 않는다고 하지만, 라이선스 계약에는 보존 기간이 없고 서비스 개선에 쿼리 로그를 쓸 수 있게 되어 있으며, 공개된 SOC 2 보고서도 찾지 못했습니다. 가장 엄격한 경우를 위해서는 같은 하드웨어를 자체 데이터센터용 SambaStack으로 판매하며, 2026년 3월부터 네트워크 분리 설치도 지원합니다.
의료 등 규제 대상 데이터라면, 공개 문서만으로 승인받기 가장 쉬운 곳은 세 회사 중 Groq입니다. 건물 밖으로 나가면 안 되는 데이터라면, SambaNova가 클라우드와 같은 하드웨어를 온프레미스 표준 제품으로 판매합니다.
각자 이기는 영역
많은 호출을 연달아 하는 에이전트: Cerebras
초당 1,347토큰, 첫 토큰까지 0.65초인 Cerebras는 코딩이나 리서치 에이전트의 각 단계를 줄여, 작업당 수십 단계라면 몇 분을 아낍니다. 종량제의 분당 1,000건이 병목이 되는 일은 드뭅니다. 대가는 Groq의 두 배가 넘는 입력 가격과, 공유 API에 모델이 두 개뿐이라는 점입니다.
음성: Groq
전화 에이전트는 상대가 침묵을 느끼기 전에 듣고, 생각하고, 답해야 합니다. Groq는 Whisper large-v3-turbo 전사를 오디오 1시간당 $0.04에 팔고, 함께 gpt-oss-20b를 입력 $0.075, 출력 $0.30에 제공합니다. Artificial Analysis 측정으로 초당 630토큰입니다. 업체 하나, 계약 하나로 양쪽을 해결할 수 있습니다. BAA와 Zero Data Retention까지 더하면 콘택트센터에는 Groq가 현실적인 선택입니다.
빠른 gpt-oss의 더 싼 두 번째 공급원: SambaNova
SambaNova는 gpt-oss-120b의 가격과 속도에서 다른 두 회사의 중간에 있고, 답변 정확도 점수는 가장 높으며, GLM-5.3이나 100만 토큰 컨텍스트의 MiniMax-M3.1-Flash처럼 두 경쟁사에 없는 모델도 제공합니다. 셀프서비스 한도가 작아서, 하드웨어를 사는 경우가 아니라면 주력보다는 예비용입니다.
배치 비용과 모델 선택: GPU 클라우드
아무도 기다리지 않는 작업이라면 세 회사 모두 싼 선택지가 아닙니다. Together AI와 Fireworks AI는 gpt-oss-120b에서 Groq와 같은 가격이고, 배치로는 최대 절반까지 낮추며, 모델 목록이 훨씬 길고, 파인튜닝을 대신 해 주며, 전용 GPU도 빌려줍니다(H100은 Together AI에서 시간당 $5.49, Fireworks에서 $8). 특정 오픈 모델, 파인튜닝, 또는 한 사람의 속도보다 많은 사용자에 대한 꾸준한 처리량이 필요하다면 GPU 클라우드가 더 나은 선택입니다. 꾸준한 대량 부하에서는 vLLM이나 SGLang으로 직접 호스팅하는 편이 유리하다고 추론 서빙 가이드에서 설명합니다.
종속과 공급 위험
코드상으로 바꾸기는 쉽습니다. 세 회사 모두 OpenAI 채팅 형식을 지원하므로 옮기는 일은 대개 기본 URL과 모델 이름을 바꾸는 것이고, OpenRouter도 세 회사를 모두 gpt-oss-120b 제공처로 올려 두고 있습니다. 차이는 세부에 있습니다. Groq는 logprobs와 logit_bias를 거부하고, Cerebras는 n을 1로 제한하며 gpt-oss-120b에서 도구와 응답 스키마를 함께 쓰지 못합니다. 코드가 보내는 매개변수를 그대로 시험하십시오.
더 큰 위험은 회사 자체이며, 2026년에는 세 회사 모두에 변화가 있었습니다.
- Cerebras는 2026년 5월 Nasdaq에 상장했고 1월에 OpenAI와 $10 billion이 넘는 컴퓨팅 계약을 맺었습니다. 9월 말 리서치 업체 SemiAnalysis는 OpenAI GPT-6.1 Sol의 Ultrafast 모드가 Cerebras가 아니라 Nvidia GPU에서 돈다고 보고했습니다. 주가는 일주일 새 20% 가까이 떨어져, 상장 첫날 종가 기준 $95 billion이던 가치가 $39 billion을 조금 넘는 수준이 됐다고 CNBC가 보도했습니다. Oracle은 2027년 자사 클라우드에서 Cerebras 추론을 제공할 계획입니다. 정액제 Cerebras Code 플랜은 품절로 표시되어 있습니다.
- Groq는 2025년 12월 칩 기술을 약 $20 billion에 Nvidia에 라이선스했고, Nvidia는 창업자와 엔지니어링팀 상당수를 채용했습니다. Groq는 이제 Nvidia Cloud Partner로서 자체 칩과 함께 Nvidia 하드웨어를 운영하며, 8월에 기업가치 $3.5 billion으로 $350 million을 조달했고, $8 billion 기업가치로 새 투자 유치를 추진 중이라고 11월 6일 Bloomberg가 보도했습니다. GroqCloud는 계속 운영될 가능성이 높지만, LPU 서비스로 남을지는 덜 확실합니다.
- SambaNova는 2025년 4월 AI 학습 사업을 접고 직원의 약 15%인 77명을 해고했습니다. Intel은 2025년 말 약 $1.6 billion에 인수를 논의했지만, 실제로는 2026년 2월 $350 million 라운드에 참여했고, 7월에 SambaNova는 $11 billion 기업가치로 $1 billion을 조달했습니다. SN50 칩은 2026년 하반기 출하 예정입니다.
오픈 웨이트가 보험입니다. gpt-oss-120b를 쓰는 팀은 URL과 모델 이름만 바꿔 첫 번째 표의 다섯 업체 사이를 옮겨 다닐 수 있습니다. 빠른 업체 한 곳만 제공하는 모델 위에 만든 팀은 그럴 수 없습니다.
시작용 구성
- 기본 트래픽은 GPU 클라우드로. gpt-oss-120b나 필요한 오픈 모델을 Together AI나 Fireworks AI에서 돌리고, 실시간이 아닌 작업은 배치로 처리합니다.
- 지연에 민감한 호출은 빠른 칩으로. 에이전트 단계는 Cerebras로, 음성은 Groq로, 같은 OpenAI 클라이언트나 OpenRouter를 통해 보냅니다.
- 예비 업체 설정. gpt-oss-120b용으로 SambaNova를 준비해, 한 업체의 장애나 속도 제한이 제품을 멈추지 않게 합니다.
- 매월 점검. 가격, 프리뷰 표시, 모델 목록은 세 회사 모두 자주 바뀝니다. 다시 읽고, 바꿀 때마다 자체 품질 점검을 다시 돌리십시오.
주의할 점: 여기 속도 수치는 주로 단건 요청을 한 장소에서 보내는 하나의 벤치마크 서비스에서 나온 것이어서, 여러분의 최대 부하에서 업체가 어떻게 동작할지는 거의 알려 주지 않습니다. 업체 자체 수치는 더 높고, 측정값은 주마다 바뀌며, 세 회사 모두에 있는 모델은 하나뿐입니다. 표는 후보를 좁히는 용도로 쓰고, 계약하기 전에 자신의 프롬프트를 자신의 규모로 돌려 보십시오.
결론: 빠른 칩 업체는 마트의 빠른 계산대입니다. 물건 몇 개를 들고 기차 시간에 쫓기는 사람에게는 값어치가 있고, 일주일 치 장보기에는 낭비입니다. 누군가 기다리는 호출은 Cerebras나 Groq로 보내고, SambaNova는 두 번째 계산대이자 자체 하드웨어라는 선택지로 남겨 두고, 나머지는 모두 GPU 클라우드에 맡기십시오.