Nemotron 3.5 ASR Streaming 0.6B의 개요
Nemotron 3.5 ASR는 NVIDIA의 6억 파라미터 스트리밍 음성 인식 모델로, 2026년 6월 4일 허용적인 OpenMDW-1.1 라이선스로 Hugging Face에 공개되었습니다. NVIDIA의 영어 전용 Nemotron Speech Streaming을 다국어로 확장한 모델로, 언어 프롬프트를 더해 하나의 체크포인트가 40개 언어·지역 변형을 다룹니다. NVIDIA가 전사 준비 완료로 분류한 19개, 폭넓은 지원 13개, 사용 전 파인튜닝이 필요한 8개입니다.
캐시 인식 FastConformer 인코더와 RNN-T 디코더를 사용해, 겹치는 오디오를 다시 처리하는 대신 청크 사이에서 인코더 상태를 유지합니다. 청크 크기, 즉 지연 시간은 재학습 없이 실행 시점에 80, 160, 320, 560, 1,120밀리초 중에서 고릅니다. 출력에는 문장 부호와 대문자가 포함되며, 언어를 auto로 두면 들은 언어를 나타내는 태그를 붙입니다. NeMo, Hugging Face Transformers 5.13.0 이상, 그리고 q8_0 GGUF 파일로 NVIDIA의 C++ 런타임 NeMo-Speech.cpp에서 실행됩니다.
Nemotron 3.5 ASR Streaming 0.6B, 쓸 만한 가치가 있습니까?
Nemotron 3.5 ASR는 실시간 전사를 위한 처리 용량 도구입니다. NVIDIA는 H100 한 장에서 80 ms 설정 시 240개의 동시 실시간 스트림을 유지한다고 측정했으며, 이전 Parakeet RNNT 1.1B는 14개였습니다. 1,120 ms에서는 2,400개 대 400개입니다. 음성 에이전트나 자막 플랫폼에는 GPU 한 장과 랙 하나의 차이이며, 지연 조절 기능으로 지연과 정확도의 균형을 모델이 아니라 배포 단위로 정할 수 있습니다.
정확 도는 평범하며 NVIDIA의 표도 그렇게 보여줍니다. 언어를 지정하고 1.12초 청크를 쓴 FLEURS에서 WER은 스페인어 4.11%, 영어 7.91%, 독일어 8.31%, 프랑스어 9.03%이고, 전사 준비 완료 19개 변형의 평균은 8.84%입니다. 80 ms에서는 이 평균이 10.38%로 올라갑니다. 오프라인 모델이 훨씬 낫습니다. NVIDIA 자체의 Nemotron 3.5 Transcribe는 Artificial Analysis에서 AA-WER 3.4%지만 스트리밍은 못 합니다. NVIDIA도 영어 작업에는 영어 전용 스트리밍 모델을 권합니다.
구매자가 주의 깊게 봐야 할 곳은 폭넓은 지원 계층입니다. 폴란드어, 북경어, 체코어는 오류율 15.15%에서 20.41%, 덴마크어와 헝가리어는 27.49%와 28.68%로 평균 22.13%이며, 대략 다섯 단어 중 하나가 틀리는 셈입니다. 그리스어, 히브리어, 태국어를 포함한 적응 준비 8개 변형은 파인튜닝 전까지 쓸 만한 전사를 내지 못하며, NVIDIA는 이를 위한 파인튜닝 가이드를 공개합니다.
주의할 점: NVIDIA에 맞춰진 소프트웨어입니다. 지원 플랫폼은 NVIDIA GPU 위의 Linux와 Jetson이고, 입력은 모노여야 하며, 학습 라벨 일부는 Whisper를 포함한 다른 모델들의 앙상블이 생성했기 때문에 이들이 공유하는 체계적 오류가 넘어올 수 있습니다. 화자 구분은 없습니다.
결론: Nemotron 3.5 ASR는 스페인어, 이탈리아어, 포르투갈어, 힌디어 실시간 자막을 대규모로 받치는 엔진입니다. 몇 초 기다려도 되는 녹음이라면 오프라인 모델이 눈에 띄게 적게 틀립니다.
제 역할을 하는 곳
콘택트센터 소프트웨어 회사의 플랫폼 엔지니어
스페인어, 포르투갈어, 영어 통화마다 상담원에게 실시간 전사를 보여주기
NeMo의 캐시 인식 스트리밍 스크립트로 560 ms 또는 1,120 ms 청크로 실행합니다. NVIDIA는 1,120 ms에서 H100당 2,400개 병렬 스트림을 측정했습니다. DeepInfra 호스팅이면 월 100만 분에 약 200달러입니다.
인도 은행용 음성 에이전트를 만드는 개발자
힌디어와 영어 사용자를 자연스러운 대화 교대가 가능할 만큼 빠르게 인식하기
80 ms 또는 160 ms에서 target_lang=auto로 실행해 발화마다 언어 태그를 붙입니다. 힌디어 WER은 80 ms에서 언어 지정 시 8.13%, 자동 감지 시 11.47%입니다.
그리스 방송사의 ML 팀
그리스어 뉴스에 실시간 자막 달기
그리스어는 적응 준비 계층이므로 방송 전에 NVIDIA 가이드에 따라 자체 전사본으로 파인튜닝할 예산을 잡아야 합니다. 그대로는 신뢰할 만하게 전사하지 못합니다.
도입 전 확인할 점
- 설정
- GitHub에서 NeMo를 설치하고(Python 3.11 이상, libsndfile과 ffmpeg) from_pretrained로 nvidia/nemotron-3.5-asr-streaming-0.6b를 불러온 뒤 att_context_size와 target_lang 을 지정해 캐시 인식 스트리밍 스크립트를 실행합니다. transformers 5.13.0 파이프라인도 됩니다.
- 연동
- NeMo, Hugging Face Transformers(오프라인과 스트리밍), q8_0 GGUF를 쓰는 NeMo-Speech.cpp, NVIDIA Speech NIM. 호스팅 엔드포인트는 OpenRouter를 통한 DeepInfra.
- 데이터와 개인정보
- OpenMDW-1.1은 상업적 사용을 허용합니다. 직접 호스팅하면 오디오는 자체 하드웨어에 남습니다. 학습에는 공개 데이터셋, NVIDIA의 독점 Riva 데이터, 다른 ASR 모델이 생성한 라벨이 섞였습니다.
- 대규모 사용 시 비용
- 직접 호스팅 시 NVIDIA 테스트에서 H100 한 장이 1,120 ms 지연으로 2,400개 스트림을 처리했습니다. DeepInfra는 초당 0.00000333달러로 100만 분에 약 200달러입니다.
- 제한
- 바로 쓸 수 있는 변형 32개, 파인튜닝 후 8개 추가. 모노 입력. Linux와 NVIDIA GPU. 화자 분리 없음. 청크가 작아질수록 정확도가 떨어집니다.
좋은 점
- NVIDIA 테스트에서 H100 한 장당 80 ms에 240개, 1,120 ms에 2,400개 스트림
- 실행 시점에 80~1,120 ms 지연 선택
- 하나의 모델에 40개 언어·지역 변형과 자동 언어 태그
- 허용적인 OpenMDW-1.1 라이선스, NeMo-Speech.cpp용 GGUF 빌드
- 호스팅 시 1,000분당 약 0.20달러
아쉬운 점
- 가장 느린 설정에서도 FLEURS 영어 WER 7.91%
- 폭넓은 지원 언어 평균 WER 22.13%
- 8개 변형은 쓰기 전에 파인튜닝 필요
- Linux와 NVIDIA GPU 전용, 모노 오디오
- 화자 구분 없음
추천 대상
NVIDIA GPU에서 다수의 실시간 전사 또는 음성 에이전트 세션을 동시에 운영하는 플랫폼.
Nemotron 3.5 ASR Streaming 0.6B 대안
Nemotron 3.5 ASR Streaming 0.6B: 자주 묻는 질문
- Nemotron 3.5 ASR Streaming 0.6B, 쓸 만한 가치가 있습니까?
- Nemotron 3.5 ASR Streaming은 GPU 한 장으로 수백 개의 실시간 자막을 돌리기 위한 모델이며, 정확도가 그 밀도의 대가입니다. 평점은 5점 만점에 3.9점입니다.
- Nemotron 3.5 ASR Streaming 0.6B의 가격은 얼마입니까?
- OpenMDW-1.1로 무료. OpenRouter에서 DeepInfra가 호스팅하며 오디오 1초당 0.00000333달러, 1,000분당 약 0.20달러입니다.
- Nemotron 3.5 ASR Streaming 0.6B의 단점은 무엇입니까?
- 가장 느린 설정에서도 FLEURS 영어 WER 7.91%; 폭넓은 지원 언어 평균 WER 22.13%; 8개 변형은 쓰기 전에 파인튜닝 필요; Linux와 NVIDIA GPU 전용, 모노 오디오; 화자 구분 없음.
- Nemotron 3.5 ASR Streaming 0.6B에 적합한 사람은 누구입니까?
- NVIDIA GPU에서 다수의 실시간 전사 또는 음성 에이전트 세션을 동시에 운영하는 플랫폼.
- 팀이나 프로덕션 환경에서 Nemotron 3.5 ASR Streaming 0.6B의 비용은 얼마입니까?
- 직접 호스팅 시 NVIDIA 테스트에서 H100 한 장이 1,120 ms 지연으로 2,400개 스트림을 처리했습니다. DeepInfra는 초당 0.00000333달러로 100만 분에 약 200달러입니다.
- Nemotron 3.5 ASR Streaming 0.6B에 회사 데이터를 맡겨도 안전합니까?
- OpenMDW-1.1은 상업적 사용을 허용합니다. 직접 호스팅하면 오디오는 자체 하드웨어에 남습니다. 학습에는 공개 데이터셋, NVIDIA의 독점 Riva 데이터, 다른 ASR 모델이 생성한 라벨이 섞였습니다.
- Nemotron 3.5 ASR Streaming 0.6B의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 NVIDIA Nemotron 3.5 Transcribe, MAI-Transcribe-2-Streaming, Qwen3-ASR (1.7B and 0.6B), Parakeet TDT 0.6B v3 및 Voxtral 3 (Transcribe and TTS)입니다.
답변 확인일: 2026년 11월 7일.