Limite 1B - Violetto의 개요
Limite 1B - Violetto는 로마의 연구 스타트업 Paradigma의 첫 모델입니다. 공동 창업자로는 Sapienza 대학 교수 Emanuele Rodolà와 OpenAI에서 벤치마크를 만들던 Giulio Starace가 있습니다. 파라미터 10억(1-billion) 개의 밀집 트랜스포머로, 선별한 3,000억(300 billion) 토큰 미만으로 처음부터 학습했고, 아키텍처는 커뮤니티의 사전 학습 speedrun 작업(로컬과 전역 어텐션 레이어의 혼합)에서 빌려 왔습니다. 이후 합성 데이터, 지도 파인튜닝, 강화 학습으로 사후 학습했습니다. 최대 131,072 토큰의 시퀀스를 처리합니다.
하는 일은 하나입니다. 경시 수학 문제를 한 턴에 푸는 것입니다. Paradigma는 일부러 지시 튜닝을 가볍게 했으므로, 채팅 어시스턴트가 아니며 평범한 질문을 수학 문제로 바꾸는 일이 잦습니다. 가중치와 vLLM 서빙 플러그인은 Apache 2.0입니다. 기술 보고서는 예고됐지만 아직 나오지 않았습니다.
Limite 1B - Violetto, 쓸 만한 가치가 있습니까?
Paradigma 자체 표에서 Limite는 어떤 1B 모델도 닿지 못한 수준으로 경시 수학을 풉니다. AIME 2026 94.01%, HMMT February 2026 83.62%, BeyondAIME 74.25%로, 크기가 3배인 VibeThinker-3B의 93.85%, 78.98%, 72.00%, 30B인 MUSE-Glimmer의 93.44%, 80.87%, 70.00%를 앞섭니다. 표에서 가장 강한 소형 범용 모델인 MiniCPM5-2B는 AIME 2026에서 90.21%이며, 7개 벤치마크 모두에서 Limite에 뒤집니다. VibeThinker-3B는 AIME 2025와 ArXivMath에서만 앞섭니다. 가장 어려운 세트인 APEX Shortlist에서는 GLM 5.2와 Gemini 3 Pro가 68.09%와 66.49%로 Limite의 50.80%보다 여전히 앞섭니다.
두 가지를 조심해야 합니다. Limite의 모든 수치는 자체 보고이고, 여러 경쟁 모델의 점수는 다시 돌린 것이 아니라 모델 카드나 MathArena에서 옮겨 왔으며, 각주는 평가 설정이 다르다고 경고합니다. 학습 데이터를 설명할 기술 보고서는 아직 나오지 않았습니다. 이렇게 작은 모델이 2026년 대회에서 이렇게 높은 점수를 내면 보통 데이터 오염을 걱정하므로, 이 점이 중요합니다.
좁은 범위는 설계상의 선택이며, Paradigma는 이를 솔직하게 밝힙니다. 자체 예시에서 모델은 "광합성이란 무엇인가?"에 세포 분열 설명으로 답하고, 인용된 인젝션 문자열을 미분할 수열로 다룹니다. 카드는 대화당 질문 하나, 정해진 시스템 프롬프트, 기록 없음을 요구합니다. 그래서 범용 어시스턴트나 신뢰할 수 없는 텍스트를 보는 구성 요소로는 쓸 수 없지만, 수학만 보내는 파이프라인에는 맞습니다.
배포 측면에서는 돌리기에 싸지만 까다롭습니다. 권장 경로는 NVIDIA GPU와 CUDA 13에서 Paradigma의 vLLM 0.26 플러그인을 쓰는 것입니다. Transformers는 trust_remote_code로 동작하지만 H100에서만 검증됐고, 두 경로 모두 샤딩이나 파인튜닝을 공식 지원하지 않습니다. 카드에는 GGUF나 Apple 빌드가 없습니다.
제 역할을 하는 곳
소형 모델의 추론을 연구하는 ML 연구자
best-of-n과 검증을 연구하기 위해 문제당 수천 개의 풀이 샘플 생성하기
GPU 한 장에서 vLLM 플러그인으로 temperature 0.6에 서빙하고 폭넓게 샘플링합니다. 파라미터가 1B라 카드당 처리량이 맞수인 27B~30B 모델보다 훨씬 높습니다. 점수가 자체 보고이므로 검증기로 답을 확인합니다.
온라인 수학 올림피아드 코칭 플랫폼
코치가 검토하기 전에 연습 문제의 풀이 초안 쓰기
요청마다 문제 하나를 정해진 시스템 프롬프트와 함께 기록 없이 보냅니다. 검토 단계 뒤에 두고, 엉뚱한 수학으로 흐르는 자유 텍스트 학생 채팅에서는 떼어 둡니다.
도입 전 확인할 점
- 설정
- git clone paradigma-inc/limite-violetto, uv sync --locked, 그다음 VLLM_PLUGINS=limite uv run vllm serve. Linux x86-64, NVIDIA GPU, CUDA 13 호환 드라이버가 필요합니다. Transformers는 trust_remote_code로 동작합니다.
- 연동
- vLLM을 통한 OpenAI 호환 서빙, SDPA 또는 FlashAttention 2를 쓰는 Transformers(정적 캐시와 함께 쓰는 FlashAttention 2는 제외). 카드에 GGUF, Ollama, MLX 빌드는 없습니다.
- 데이터와 개인정보
- 셀프 호스팅 전용이므로 문제와 답이 내 하드웨어에 머뭅니다. 학습 데이터는 선별한 3,000억(300 billion) 토큰 미만 이라고만 설명돼 있으며, 자세한 내용은 기술 보고서를 기다려야 합니다.
- 대규모 사용 시 비용
- 가중치는 무료입니다. 1B BF16 체크포인트는 약 2 GB라 GPU 한 장으로 서빙하며, 카드에 따라 텐서·파이프라인 병렬도는 1로 둡니다. 호스팅 가격은 없습니다.
- 제한
- 단일 턴 사용 전용입니다. 수학이 아닌 프롬프트는 범위를 놓칩니다. 파인튜닝, LoRA, 멀티 GPU 샤딩은 공식 지원되지 않습니다.
좋은 점
- Paradigma 기준, 1B 파라미터로 AIME 2026 94.01%
- 7개 수학 벤치마크 대부분에서 3B~30B 모델을 앞섬
- Apache 2.0 가중치와 서빙 플러그인
- 긴 풀이를 위한 131K 토큰 컨텍스트
아쉬운 점
- 자체 보고 점수, 기술 보고서 미공개
- 수학이 아닌 질문을 수학으로 재해석
- 단일 턴 전용, 신뢰할 수 없는 입력에 부적합
- 공식적으로 NVIDIA와 CUDA 13만 지원, 파인튜닝 지원 없음
추천 대상
경시 수학 풀이가 저렴하게 많이 필요하고 답을 자동으로 검증할 수 있는 연구자와 에듀테크 팀.
Limite 1B - Violetto 대안
Limite 1B - Violetto: 자주 묻는 질문
- Limite 1B - Violetto, 쓸 만한 가치가 있습니까?
- 파라미터 대비 수학 실력은 놀랍지만 수학 밖에서는 쓸모가 없고, 지금까지는 만든 사람들만 채점했습니다. 평점은 5점 만점에 3.6점입니다.
- Limite 1B - Violetto의 가격은 얼마입니까?
- Apache 2.0의 무료 오픈 웨이트입니다. 호스팅 API는 없으며, 자체 GPU 비용만 듭니다.
- Limite 1B - Violetto의 단점은 무엇입니까?
- 자체 보고 점수, 기술 보고서 미공개; 수학이 아닌 질문을 수학으로 재해석; 단일 턴 전용, 신뢰할 수 없는 입력에 부적합; 공식적으로 NVIDIA와 CUDA 13만 지원, 파인튜닝 지원 없음.
- Limite 1B - Violetto에 적합한 사람은 누구입니까?
- 경시 수학 풀이가 저렴하게 많이 필요하고 답을 자동으로 검증할 수 있는 연구자와 에듀테크 팀.
- 팀이나 프로덕션 환경에서 Limite 1B - Violetto의 비용은 얼마입니까?
- 가중치는 무료입니다. 1B BF16 체크포인트는 약 2 GB라 GPU 한 장으로 서빙하며, 카드에 따라 텐서·파이프라인 병렬도는 1로 둡니다. 호스팅 가격은 없습니다.
- Limite 1B - Violetto에 회사 데이터를 맡겨도 안전합니까?
- 셀프 호스팅 전용이므로 문제와 답이 내 하드웨어에 머뭅니다. 학습 데이터는 선별한 3,000억(300 billion) 토큰 미만이라고만 설명돼 있으며, 자세한 내용은 기술 보고서를 기다려야 합니다.
- Limite 1B - Violetto의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 MiniCPM5-2B, Qwen3.8-27B 및 SmolLM3-3B입니다.
답변 확인일: 2026년 11월 2일.