EAGLE-4의 개요
EAGLE-4는 추측 디코딩으로 대형 언어 모델 서빙을 빠르게 합니다. 작은 초안 모델이 토큰 여러 개를 제안하고 대상 모델이 한 번에 검증하므로, 출력은 대상 모델 혼자 만든 것과 같습니다. 이 저장소에는 eagle-harness가 들어 있습니다. EAGLE-4 초안을 SGLang, vLLM, TokenSpeed에 연결하고 내 머신에서 측정한 비용으로 얼마나 추측할지 정하는 패키지로, 배치가 커지면 초안 트리가 줄어듭니다.
발행처는 Eagle AI Corp이며, EAGLE, EAGLE-2, EAGLE-3를 바탕으로 했다고 밝힙니다. 첫 공개 초안은 Qwen3.8-27B용입니다. 저장소는 2026년 10월 20일에 만들어졌고 스타는 약 1,221개이며, Docker 이미지와 wheel을 제공하고 2026년 11월 1일에 v0.1.5를 냈습니다. 오픈 소스가 아니라 소스 공개 방식입니다.
EAGLE-4, 쓸 만한 가치가 있습니까?
추측 디코딩은 한가한 서버에는 도움이 되고 바쁜 서버에는 해가 되기 쉽습니다. 초안 토큰을 만드는 데 드는 연산을 가득 찬 배치는 실제 작업에 쓰고 싶어 하기 때문입니다. EAGLE-4의 답은 내 하드웨어에서 실시간 비용을 재고 현재 배치에 맞춰 초안 트리 크기를 정하는 하니스로, 추측을 켜 둔 채로 둘 수 있습니다. NVIDIA B300 GPU 4개와 Qwen3.8-27B에서 지원 매트릭스는 SGLang이 일반 디코딩 대비 요청 1개일 때 3.42배, 동시 8개에서 2.09배, 64개에서 1.39배, vLLM이 2.83배, 1.72배, 1.14배, TokenSpeed가 3.09배, 2.02배, 1.41배라고 보고합니다. AMD MI355X 1개에서는 SGLang이 요청 8개에서 2.07배, 32개에서 1.56배 빨랐습니다.
문서는 효과가 어디서 끝나는지에 대해 드물게 솔직합니다. 알려진 한계 페이지에 따르면 README 빠른 시 작의 SGLang 명령은 부하가 높으면 일반 디코딩으로 돌아가며, B300 1개에서 동시 요청 64, 128, 256개일 때 1.00배였습니다. GPU 4개용 별도 고부하 레시피는 요청 512개까지 일반 디코딩과 같은 속도를 유지합니다. vLLM과 TokenSpeed는 아직 일반 디코딩으로 전환하지 않아 요청 64개를 넘으면 추측이 없을 때보다 느려질 수 있으므로, 문서는 그 경우 끄라고 합니다. 정확성은 가정하지 않고 fp32 기준으로 확인하며, 출력이 갈린 프롬프트도 목록으로 보여 줍니다.
범위는 좁습니다. 측정 결과는 공개된 대상과 초안 조합인 Qwen3.8-27B 하나와 Nemotron 3.5 Super를 B300과 MI355X에서 다룬 것뿐이며, 다른 아키텍처, 멀티노드 구성, 파이프라인 병렬은 아직 검증 중입니다. 빠른 시작은 약 62 GB를 내려받고 CUDA 13 드라이버가 필요하며, pip 설치는 Eagle 자체 wheel 인덱스에 있는 패치된 SGLang 빌드로 고정됩니다.
진짜 결정 요소는 라이선스입니다. Eagle 4 Source-Available License는 어떤 12개월 동안이든 총매출이 US$20 million(2,000만 달러) 미만일 때만 상업적 사용을 허용하고, 경쟁 제품은 아예 금지하며, 클론이나 포크를 동의로 간주합니다. 받아들인 기여의 라이선스도 Eagle AI Corp이 통제합니다. SGLang과 vLLM 자체에 내장된 추측 디코딩 기능에는 이런 조건이 전혀 없습니다.
제 역할을 하는 곳
Qwen3.8-27B로 코딩 도우미를 운영하는 스타트업의 추론 엔지니어
답을 바꾸지 않고 단일 사용자의 요청당 지연 줄이기
EAGLE-4 초안과 하니스로 SGLang을 서빙합니다. 지원 매트릭스는 B300 4개에서 요청 1개일 때 일반 디코딩의 3.42배를 보여 줍니다. 회사 매출이 US$20 million(2,000만 달러) 미만인 동안은 무료입니다.
AMD MI355X에서 들쭉날쭉한 트래픽을 처리하는 플랫폼 팀
피크를 늦추지 않으면서 한가한 시간대를 빠르게 하기
AMD 가이드를 따릅니다. MI355X 1개에서 SGLang은 요청 8개에서 2.07배, 32개에서 1.56배였습니 다. 고부하 레시피를 써서 바쁜 시간에는 일반 디코딩으로 돌아가게 합니다.
추측 디코딩 방법을 비교하는 연구자
새 초안 방법을 측정된 기준선과 비교하기
SPEED-Bench 클라이언트로 온도 0에서 지원 매트릭스 명령을 재현합니다. 첫 요청들은 커널을 컴파일하고 비용을 재므로 서버를 먼저 데워 둡니다.
도입 전 확인할 점
- 설정
- 공개된 SGLang Docker 이미지를 실행하거나, Python 3.12에서 고정된 SGLang 빌드와 함께 eagle-harness를 pip로 설치합니다(CUDA toolkit과 C++ 컴파일러 필요). 첫 실행 때 약 62 GB를 내려받고 커널을 컴파일합니다.
- 연동
- SGLang, vLLM, TokenSpeed 엔진, 엔진이 제공하는 OpenAI 호환 chat completions, Hugging Face의 EAGLE-Corp 초안, AMD MI355X용 ROCm 빌드.
- 데이터와 개인정보
- 모두 내 GPU에서 실행되며 호스팅 서비스는 관여하지 않습니다. Docker 예시는 포트 30000을 127.0.0.1에만 공개하고 빠른 시작에서는 API 키를 설정하지 않으므로, 서버를 외부에 열기 전에 키를 추가해야 합니다.
- 대규모 사용 시 비용
- 라이선스 기준 아래에서는 요금이 없습니다. 12개월 매출이 US$20 million(2,000만 달러)을 넘거나 경쟁 제품을 제공하는 회사는 상업 계약이 필요하며 가격은 공개되지 않았습니다.
- 제한
- B300과 MI355X에서만 측정, 멀티노드와 파이프라인 병렬은 미검증, vLLM과 TokenSpeed는 동시 요청 64개를 넘으면 일반 디코딩보다 느릴 수 있음, 결정적 모드는 고부하에서 추측을 끔.
좋은 점
- 실시간으로 잰 비용으로 초안 트리 크기를 정해 추측을 켜 둘 수 있음
- 단일 요청이 최대 3.42배 빠르고 출력은 대상 모델과 동일
- 초당 토큰, 정확성 검사, 측정 방법을 담은 지원 매트릭스 공개
- SGLang, vLLM, TokenSpeed에서 NVIDIA와 AMD 모두 지원
아쉬운 점
- 소스 공개 방식: 상업적 사용은 매출 US$20 million(2,000만 달러)까지, 경쟁 제품 불가
- 동시 요청 64개에서는 효과가 약 1.1~1.4배로 줄어듦
- 출시 시점 공개 초안 모델은 하나, 다른 하드웨어는 미검증
- Eagle 자체 wheel 인덱스의 패치된 엔진 빌드로 고정
추천 대상
라이선스 매출 기준 아래에 있으면서 B300이나 MI355X GPU로 Qwen3.8-27B를 낮거나 중간 수준의 동시성으로 서빙하는 팀.
EAGLE-4 대안
EAGLE-4: 자주 묻는 질문
- EAGLE-4, 쓸 만한 가치가 있습니까?
- EAGLE-4는 우리가 읽은 추측 디코딩 공개물 중 가장 꼼꼼하게 측정된 것으로 SGLang에서 단일 요청이 3.42배 빨라지지만, 공개 모델은 하나뿐이고 효과는 주로 낮은 동시성에서 나며 매출 US$20 million(2,000만 달러)부터 적용되는 라이선스가 붙어 있습니다. 평점은 5점 만점에 3.9점입니다.
- EAGLE-4의 가격은 얼마입니까?
- Eagle 4 Source-Available License에 따라 어떤 12개월 동안이든 매출이 US$20 million(2,000만 달러) 미만이고 경쟁 제품을 제공하지 않는 조직은 무료로 쓸 수 있습니다. 그 이상이면 별도의 상업 라이선스가 필요하며 가격은 공개되지 않았습니다.
- EAGLE-4의 단점은 무엇입니까?
- 소스 공개 방식: 상업적 사용은 매출 US$20 million(2,000만 달러)까지, 경쟁 제품 불가; 동시 요청 64개에서는 효과가 약 1.1~1.4배로 줄어듦; 출시 시점 공개 초안 모델은 하나, 다른 하드웨어는 미검증; Eagle 자체 wheel 인덱스의 패치된 엔진 빌드로 고정.
- EAGLE-4에 적합한 사람은 누구입니까?
- 라이선스 매출 기준 아래에 있으면서 B300이나 MI355X GPU로 Qwen3.8-27B를 낮거나 중간 수준의 동시성으로 서빙하는 팀.
- 팀이나 프로덕션 환경에서 EAGLE-4의 비용은 얼마입니까?
- 라이선스 기준 아래에서는 요금이 없습니다. 12개월 매출이 US$20 million(2,000만 달러)을 넘거나 경쟁 제품을 제공하는 회사는 상업 계약이 필요하며 가격은 공개되지 않았습니다.
- EAGLE-4에 회사 데이터를 맡겨도 안전합니까?
- 모두 내 GPU에서 실행되며 호스팅 서비스는 관여하지 않습니다. Docker 예시는 포트 30000을 127.0.0.1에만 공개하고 빠른 시작에서는 API 키를 설정하지 않으므로, 서버를 외부에 열기 전에 키를 추가해야 합니다.
- EAGLE-4의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 SGLang, vLLM 및 TensorRT-LLM입니다.
답변 확인일: 2026년 11월 21일.