Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)의 개요
Nemotron 3.5 Bolt는 로컬 하드웨어에서 에이전트를 돌리기 위한 NVIDIA의 오픈 모델 제품군입니다. 큰 모델인 Bolt 74B-A9B 24GB는 2026년 10월 15일 Nemotron 3.5 Super VL과 함께 Hugging Face에 공개되었습니다. Super VL을 압축한 모델입니다. 아키텍처 탐색으로 120B 원본을 740억(74 billion) 파라미터, 토큰당 활성 90억(9 billion)으로 줄였고, 라우팅 대상 전문가를 22개에서 9개로 줄였습니다. 이후 1,200억(120 billion) 토큰으로 재학습하고 도구 사용을 위한 강화 학습을 거쳤습니다. 전문가 가중치는 가중치당 2.0625비트로 저장되어 GGUF가 22.02 GB이고, 비전 파일 1.73 GB가 따로 있습니다. 텍스트, 이미지, 최대 2분 길이의 mp4 동영상을 읽고, 컨텍스트는 256K 토큰입니다.
작은 모델인 Bolt E4B 4GB는 10월 23일에 뒤이어 나왔습니다. Super VL에서 파생된 모델이 전혀 아닙니다. NVIDIA가 Google의 Gemma-4-E4B-it를 여러 턴의 도구 사용, 지시 준수, 짧은 음성 답변을 위해 강화 학습으로 사후 학습한 모델입니다. 파라미터는 80억(8 billion, 유효 40억, 4 billion)이고, 텍스트만 받으며, 입출력 모두 64K 토큰입니다. Q4_K_M 파일은 디스크에서 6.18 GB입니다. NVIDIA가 말하는 4GB는 목표 워크로드에서의 최대 메모리를 가리키며, NVIDIA 측정으로는 3.1~5.0 GB였습니다.
두 모델 모두 상업적 사용을 허용하는 NVIDIA의 OpenMDW-1.1 라이선스를 따릅니다. E4B는 Gemma 4의 Apache 2.0 조건도 함께 적용됩니다.
Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB), 쓸 만한 가치가 있습니까?
제품군의 중심은 Bolt 74B-A9B이며, 대부분의 로컬 모델에 없는 독립 평가 수치가 있습니다. Artificial Analysis는 Intelligence Index에서 21.4점을 매겼습니다. 100B 파라미터 미만 모델 중 4위이고, 550B 모델인 Nemotron 3 Ultra보다 1.5점 낮습니다. NVIDIA 자체 표는 더 후합니다. Terminal-Bench 2.1에서 50.98 대 Qwen3.6-35B-A3B 44.38, BrowseComp에서 66.75 대 48.74입니다. 그 표에서도 모든 항목에서 앞서지는 않습니다. AA-Omniscience 정확도에서는 Gemma 4 26B-A4B가 앞서고(22.17 대 16.90), PinchBench에서는 Qwen이 근소하게 앞섭니다.
이름은 하드웨어 요구를 과장되게 작게 보이게 합니다. 22 GB 파일과 1.73 GB 비전 인코더를 올리면 24 GB 카드에는 캐시를 둘 공간이 없습니다. NVIDIA 자체 배포 표는 65,536 토큰 컨텍스트에 32 GB 외장 GPU를, 전체 262,144 토큰에는 48 GB를 요구합니다. 지원 GPU는 Ada Lovelace와 Blackwell뿐이고, 모든 속도 수치는 메모리 128 GB의 RTX Spark 노트북에서 나왔습니다.
경쟁 모델보다 느리고 말도 많습니다. NVIDIA 블로그는 speculative drafter를 써서 초당 84 토큰을 보고했고, Qwen3.6-35B-A3B는 96.63, Gemma 4는 100.56입니다. 다른 모델들이 약 454초와 481초에 끝내는 에이전트 작업에 600.80초가 걸렸습니다. Artificial Analysis는 지수 작업당 출력 토큰 82,000개를 셌고, 이는 Super VL의 1.8배입니다. 강점은 속도가 아니라 주어진 메모리 크기에서의 정확도입니다.
E4B는 다른 성격의 선택입니다. 음성 및 기기 어시스턴트용 Gemma 4 파인튜닝 모델입니다. NVIDIA는 지시 위계 테스트인 IHEval에서 84.79를 보고했고, 원본 Gemma는 67.04입니다. 하지만 Tau2-Bench(75.06 대 55.10)와 64K 토큰 회상에서 는 Qwen3.5 4B가 앞섭니다. RTX 5070에서는 첫 토큰까지 548 ms, 초당 133.4 토큰을 측정했습니다. Jetson Orin Nano에서는 대기 시간이 5.8초로, 실시간 음성에는 너무 느립니다. E4B의 모든 점수는 NVIDIA가 자사 NeMo Gym 하네스로 측정한 것입니다.
제 역할을 하는 곳
32 GB NVIDIA 워크스테이션 GPU를 가진 개발자
스크린샷을 컨텍스트에 넣고 브라우징 및 터미널 에이전트를 로컬에서 돌리기
NVIDIA의 28 GB 레시피를 씁니다. 소스에서 빌드한 llama.cpp, 65,536 토큰 컨텍스트, q8_0 KV 캐시, 1 GB DFlash drafter입니다. NVIDIA는 BrowseComp 66.75, Terminal-Bench 2.1 50.98을 보고하지만, Qwen3.6-35B-A3B보다 실행 시간이 길다고 봐야 합니다.
Jetson으로 말하는 어시스턴트를 만드는 로보틱스 팀
클라우드 왕복 없이 기기가 도구를 쓰는 음성 답변을 하게 하기
E4B의 Q4_K_M 빌드를 대화 모드와 사고 예산을 켜고 실행합니다. NVIDIA는 Jetson Orin Nano에서 메모리 4.2~5.0 GB, 초당 13~15.5 토큰, 첫 토큰까지 5.8초를 측정했습니다. 그러니 실시간 음성에는 Jetson AGX Orin이나 RTX 카드가 더 맞습니다.
PC 소프트웨어 회사의 제품 책임자
법무팀이 승인할 라이선스로 온디바이스 어시스턴트 출시하기
OpenMDW-1.1은 매출 상한이나 사용 정책 없이 제한 없는 권리를 부여합니다. 재배포할 때만 라이선스와 고지를 포함하면 됩니다. E4B에는 Gemma 4의 Apache 2.0 조건이 더해집니다. 걸리는 점은 하드웨어입니다. 두 모델 모두 NVIDIA GPU만 대상으로 합니다.
도입 전 확인할 점
- 설정
- 최신 llama.cpp를 CUDA로 소스에서 빌드하고, 22.02 GB GGUF, 1.73 GB 비전 파일, 1 GB drafter를 내려받은 뒤, NVIDIA의 28 GB 또는 32 GB 레시피로 llama-server를 시작합니다. E4B는 사전 빌드된 llama.cpp CUDA 컨테이너에서 6.18 GB 파일로 실행됩니다.
- 연동
- 도구 호출, JSON 출력, enable_thinking 스위치를 지원하는 OpenAI 호환 chat completions. E4B는 대화 모드, 런타임 사고 예산, 비동기 도구 호출을 추가로 지원하며, 두 모델 모두 DFlash drafter가 있습니다.
- 데이터와 개인정보
- 자체 호스팅이므로 데이터가 로컬에 남습니다. OpenMDW-1.1은 매출 상한 없이 상업적 사용을 허용하며, 모델의 특허나 저작권을 두고 소송을 제기하면 권리가 소멸합니다. NVIDIA는 사전 학습 및 사후 학습 데이터셋을 공개하지만, 많은 출처를 비공개로 표시합니다.
- 대규모 사용 시 비용
- 가중치는 무료이고 Artificial Analysis에는 74B의 종량 가격이 없습니다. 하드웨어: 74B는 65K 컨텍스트에 32 GB GPU, 262K에 48 GB가 필요합니다. E4B는 NVIDIA 테스트에서 RTX 5070부터 Jetson Orin까지 최대 3.1~5.0 GB를 씁니다.
- 제한
- 74B: Ada Lovelace와 Blackwell 전용, Windows와 Linux, 동영상 최대 2분, 높은 토큰 사용량. E4B: 텍스트 전용, 64K 컨텍스트, Jetson Orin Nano에서 첫 토큰까지 5.8초.
좋은 점
- Artificial Analysis 지수 21.4점, 100B 미만 중 4위
- 22 GB 파일 하나로 이미지와 2분 길이 동영상 입력
- OpenMDW-1.1: 상업적 사용 가능, 매출 상한 없음
- E4B: RTX 5070에서 첫 토큰 548 ms(NVIDIA)
아쉬운 점
- 이름과 달리 74B는 32 GB GPU 필요
- NVIDIA 자체 테스트에서도 Qwen3.6-35B-A3B와 Gemma 4보다 느림
- AA 지수 작업당 출력 토큰 82K
- E4B는 Tau2-Bench와 긴 컨텍스트에서 Qwen3.5 4B에 뒤처짐
추천 대상
32 GB 이상의 NVIDIA GPU나 RTX 또는 DGX Spark를 갖고 쓸 만한 로컬 멀티모달 에이전트 모델을 원하는 엔지니어, 그리고 Jetson이나 RTX에서 음성 어시스턴트를 만드는 기기 제조사.
Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB) 대안
Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB): 자주 묻는 질문
- Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB), 쓸 만한 가치가 있습니까?
- 74B는 100B 미만 모델 중 상위 5위 안의 점수를 워크스테이션 GPU 한 장에 올립니다. 하지만 이름의 24GB는 가중치 크기일 뿐, 필요한 그래픽카드 용량이 아닙니다. 평점은 5점 만점에 3.9점입니다.
- Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)의 가격은 얼마입니까?
- OpenMDW-1.1 오픈 가중치 무료. 두 모델 모두 공개된 종량 API 가격은 없으며, E4B는 build.nvidia.com 엔드포인트가 있습니다.
- Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)의 단점은 무엇입니까?
- 이름과 달리 74B는 32 GB GPU 필요; NVIDIA 자체 테스트에서도 Qwen3.6-35B-A3B와 Gemma 4보다 느림; AA 지수 작업당 출력 토큰 82K; E4B는 Tau2-Bench와 긴 컨텍스트에서 Qwen3.5 4B에 뒤처짐.
- Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)에 적합한 사람은 누구입니까?
- 32 GB 이상의 NVIDIA GPU나 RTX 또는 DGX Spark를 갖고 쓸 만한 로컬 멀티모달 에이전트 모델을 원하는 엔지니어, 그리고 Jetson이나 RTX에서 음성 어시스턴트를 만드는 기기 제조사.
- 팀이나 프로덕션 환경에서 Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)의 비용은 얼마입니까?
- 가중치는 무료이고 Artificial Analysis에는 74B의 종량 가격이 없습니다. 하드 웨어: 74B는 65K 컨텍스트에 32 GB GPU, 262K에 48 GB가 필요합니다. E4B는 NVIDIA 테스트에서 RTX 5070부터 Jetson Orin까지 최대 3.1~5.0 GB를 씁니다.
- Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 데이터가 로컬에 남습니다. OpenMDW-1.1은 매출 상한 없이 상업적 사용을 허용하며, 모델의 특허나 저작권을 두고 소송을 제기하면 권리가 소멸합니다. NVIDIA는 사전 학습 및 사후 학습 데이터셋을 공개하지만, 많은 출처를 비공개로 표시합니다.
- Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Nemotron 3.5 Super VL, Gemma 4, Underdog Saluki 27B 1.0 및 Qwen3.8-27B입니다.
답변 확인일: 2026년 10월 28일.