Groq의 개요
Groq은 GroqCloud라는 API로 AI 모델을 실행합니다. 자체 칩인 LPU(Language Processing Unit)로 이름을 알렸으며, 모델 문서에는 gpt-oss-20b가 초당 약 1,000토큰, gpt-oss-120b가 약 500토큰으로 나와 있습니다.
회사의 모습은 바뀌었습니다. 2025년 12월 NVIDIA는 약 $20 billion을 내고 Groq의 칩 기술에 대한 비독점 라이선스를 얻었으며, 창업자 Jonathan Ross와 엔지니어링 팀 상당수를 영입했습니다. 새 CEO Doug Wightman 아래에서 Groq은 2026년 8월 NVIDIA Cloud Partner가 되었고 기업가치 $3.5 billion으로 $350 million 규모의 Series A를 유치해, 자체 하드웨어와 함께 NVIDIA 하드웨어를 돌리는 추론 클라우드로 방향을 바꿨습니다.
공개 모델 목록은 짧습니다. OpenAI의 gpt-oss 모델, Qwen 모델 하나, 음성 인식 Whisper, 안전과 음성 모델 몇 개입니다. Llama 3.1 8B와 Llama 3.3 70B는 여전히 운영 모델로 올라 있지만 Enterprise 전용입니다.
Groq의 가격은 얼마입니까?
| 플랜 | 가격 | 포함 내용 |
|---|---|---|
| Free | Free | 속도 제한(gpt-oss-120b 기준 분당 30건, 하루 1,000건) |
| gpt-oss-120b | $0.15 in / $0.60 out per 1M tokens | Developer 요금제 |
| gpt-oss-20b | $0.075 in / $0.30 out per 1M tokens | Developer 요금제 |
| qwen3.8-27b | $0.80 in / $4.00 out per 1M tokens | Developer 요금제 |
| Whisper large-v3-turbo | $0.04/hour of audio | Developer 요금제 |
속도 제한이 있는 무료 요금제(gpt-oss-120b 기준 분당 30건, 하루 1,000건). 종량제 Developer 요금제: 100만 토큰당 gpt-oss-120b 입력 $0.15 / 출력 $0.60, gpt-oss-20b $0.075 / $0.30, qwen3.8-27b $0.80 / $4.00, Whisper large-v3-turbo 오디오 시간당 $0.04. Llama와 일부 새 모델은 영업 문의입니다.
Groq, 쓸 만한 가치가 있습니까?
앱이 사람과 소리 내어 대화하거나 답하기 전에 모델 호출을 열두 번씩 이어 붙인다면, 잠깐의 멈춤이 쌓여 제품 전체가 느리게 느껴집니다.
Groq은 속도를 팔고, 여전히 그 약속을 지킵니다. 모델 문서에는 gpt-oss-20b가 초당 약 1,000토큰, gpt-oss-120b가 약 500토큰으로 나와 있습니다. 큰 모델은 100만 토큰당 입력 $0.15, 출력 $0.60이므로, 그 속도에 GPU 클라우드보다 웃돈을 내지 않습니다. 음성 에이전트, 실시간 자동 완성, 한 턴에 호출을 열두 번씩 잇는 에이전트에서는 제품의 체감이 달라집니다.
데이터 기본값은 많은 경쟁사보다 낫습니다. Groq은 기본으로 입력과 출력을 보관하지 않지만, 안정성과 남용 감시를 위해 최대 30일 동안 기록할 수 있다고 밝힙니다. Zero Data Retention은 기업 계정만이 아니라 모든 고객이 이를 끌 수 있게 하며, 대신 저장 데이터에 의존하는 기능을 쓸 수 없습니다. 트러스트 센터에는 2024년과 2025년 SOC 2 Type II 보고서와 HIPAA 업무 제휴 부속서가 있습니다. 보관되는 데이터는 미국의 Google Cloud 버킷에 있습니다.
주의할 점: 메뉴가 짧습니다. 운영 모델은 gpt-oss 두 가지 크기, Whisper 변형 두 개, 그리고 이제 "Contact Sales"로 표시된 Llama 모델 두 개입니다. $0.80와 $4.00인 qwen3.8-27b를 포함한 프리뷰 모델은 평가용으로 표시되어 있고 "may be discontinued at short notice"라고 적혀 있습니다. 특정 프런티어 오픈 웨이트 모델이나 파인튜닝을 원한다면 Together AI와 Fireworks AI가 더 많이 제공합니다.
회사도 바뀌었습니다. NVIDIA가 LPU 기술 라이선스를 얻고 창업자를 영입한 뒤, Groq은 2025년 9월 기업가치의 절반쯤인 $3.5 billion으로 $350 million을 유치했고, 이제 스스로를 NVIDIA 용량도 파는 네오클라우드라고 소개합니다. 덕분에 GroqCloud는 계속 운영될 가능성이 커졌지만, 자체 칩에만 기댄 순수한 속도 사업으로 남을 가능성은 줄었습니다.
결론: Groq은 인기 오픈 모델 몇 개를 위한 급행 차선입니다. 쓰려는 모델이 목록에 있고 사용자가 체감하는 것이 속도라면 가격에 이견이 없습니다. 초당 토큰 수에서 가장 가까운 경쟁자는 다른 하드웨어에 건 Cerebras입니다.
제 역할을 하는 곳
치과용 전화 음성 에이전트를 만드는 스타트업
발신자의 말과 응답 사이 간격을 1초 미만으로 유지하기
Whisper large-v3-turbo가 오디오 시간당 $0.04로 받아쓰고 gpt-oss-20b가 초당 약 1,000토큰으로 답합니다. 월 10,000 통화 시간이면 LLM 토큰 전 받아쓰기만 약 $400입니다.
에이전트가 사용자 요청마다 LLM을 15번 연속 호출하는 백엔드 엔지니어
에이전트를 다시 쓰지 않고 전체 지연 시간 줄이기
OpenAI 호환 클라이언트를 GroqCloud로 향하게 하고 openai/gpt-oss-120b로 바꿉니다. 호출당 속도가 이득이며, 131,072토큰 컨텍스트와 65,536토큰 출력 상한이 설계에서 감안해야 할 제약입니다.
원격진료 회사의 컴플라이언스 리드
환자 데이터가 담긴 녹취록용 추론 제공업체 승인하기
Groq은 BAA를 제공하고 SOC 2 Type II 보고서를 공개하며, 관리자가 전역으로 ZDR을 켤 수 있게 합니다. 배치 파일은 지우지 않으면 최대 30일 보관되므로 배치 파이프라인에는 삭제 단계가 필요합니다.
도입 전 확인할 점
- 설정
- GroqCloud 콘솔에서 키를 만들고 OpenAI 호환 엔드포인트를 씁니다. 무료 요금제는 카드가 필요 없습니다.
- 연동
- OpenAI 호환 채팅과 오디오 API, 유료 Developer 요금제의 Batch와 Flex 처리.
- 데이터와 개인정보
- 기본으로 보관하지 않으며, ZDR을 켜지 않으면 남용과 안정성을 위해 최대 30일 기록합니다. 배치 파일은 최대 30일입니다. 트러스트 센터 기준 SOC 2 Type II와 HIPAA BAA가 있고, 보관 데이터는 미국에 저장됩니다.
- 대규모 사용 시 비용
- gpt-oss-120b로 월 입력 30억, 출력 10억 토큰이면 $450에 $600를 더해 약 $1,050이고, gpt-oss-20b로는 절반입니다. Llama 모델은 영업팀이 가격을 정합니다.
- 제한
- 무료 요금제: gpt-oss와 Qwen에서 분당 30건, 하루 1,000건, 분당 8,000토큰, 하루 200,000토큰. Developer 한도는 콘솔에서만 보입니다.
좋은 점
- gpt-oss 모델에서 초당 약 500에서 1,000토큰
- 주요 모델에서 하루 1,000건의 무료 등급
- gpt-oss-120b가 100만 토큰당 입력 $0.15, 출력 $0.60
- 기본으로 보관하지 않으며, 모든 고객이 ZDR을 쓸 수 있습니다
- Whisper large-v3-turbo가 오디오 시간당 $0.04
아쉬운 점
- 운영 모델이 여섯 개이고, 그중 둘은 Enterprise 전용 Llama입니다
- 프리뷰 모델은 짧은 예고로 철회될 수 있습니다
- 무료 등급은 주요 모델에서 분당 8,000토큰이 상한입니다
- 사업이 자체 칩에서 NVIDIA 용량으로 방향을 틀고 있습니다
추천 대상
모델 선택보다 응답 속도가 중요한 음성, 실시간, 에이전트 기능을 만드는 개발자.
Groq 대안
Groq: 자주 묻는 질문
- Groq, 쓸 만한 가치가 있습니까?
- Groq은 여전히 가장 빠른 축에 드는 토큰을 헐값에 팔지만, 그 뒤의 회사는 바뀌었고 모델 목록도 그에 맞춰 줄었습니다. 평점은 5점 만점에 4.0점입니다.
- Groq의 가격은 얼마입니까?
- 속도 제한이 있는 무료 요금제(gpt-oss-120b 기준 분당 30건, 하루 1,000건). 종량제 Developer 요금제: 100만 토큰당 gpt-oss-120b 입력 $0.15 / 출력 $0.60, gpt-oss-20b $0.075 / $0.30, qwen3.8-27b $0.80 / $4.00, Whisper large-v3-turbo 오디오 시간당 $0.04. Llama와 일부 새 모델은 영업 문의입니다.
- Groq의 단점은 무엇입니까?
- 운영 모델이 여섯 개이고, 그중 둘은 Enterprise 전용 Llama입니다; 프리뷰 모델은 짧은 예고로 철회될 수 있습니다; 무료 등급은 주요 모델에서 분당 8,000토큰이 상한입니다; 사업이 자체 칩에서 NVIDIA 용량으로 방향을 틀고 있습니다.
- Groq에 적합한 사람은 누구입니까?
- 모델 선택보다 응답 속도가 중요한 음성, 실시간, 에이전트 기능을 만드는 개발자.
- 팀이나 프로덕션 환경에서 Groq의 비용은 얼마입니까?
- gpt-oss-120b로 월 입력 30억, 출력 10억 토큰이면 $450에 $600를 더해 약 $1,050이고, gpt-oss-20b로는 절반입니다. Llama 모델은 영업팀이 가격을 정합니다.
- Groq에 회사 데이터를 맡겨도 안전합니까?
- 기본으로 보관하지 않으며, ZDR을 켜지 않으면 남용과 안정성을 위해 최대 30일 기록합니다. 배치 파일은 최대 30일입니다. 트러스트 센터 기준 SOC 2 Type II와 HIPAA BAA가 있고, 보관 데이터는 미국에 저장됩니다.
- Groq의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Cerebras, Fireworks AI, Together AI 및 OpenRouter입니다.
답변 확인일: 2026년 10월 22일.
Groq 개발사입니까? 이 평점을 사이트에 표시하십시오
