Needle 3의 개요
Needle 3는 Y Combinator의 투자를 받은 온디바이스 AI 회사 Cactus Compute가 2026년 9월에 출시한 아주 작은 모델입니다. 대화는 하지 않습니다. 앱이 제공하는 함수가 주어지면 맞는 함수를 골라 인수를 채우고, 스키마가 주어지면 정리되지 않은 텍스트에서 타입이 지정된 필드를 추출하며, 로컬 검색용 문장 임베딩을 반환합니다. 스키마로부터 컴파일한 문법이 JSON 파싱을 보장하고, 모든 답에는 신뢰도 점수가 붙으며 기준 아래면 호출을 보류합니다.
전체 모델은 20개 레이어에 1억 2,100만(121 million) 파라미터이며, 그중 7,080만(70.8 million)이 n-gram 메모리 테이블에 있고 약 2비트로 압축되어 있습니다. 2개부터 20개까지 모든 깊이가 같은 가중치에서 잘라낸 쓸 수 있는 모델이어서, 한 제품이 카메라에는 29M, 4레이어 버전을, 휴대폰에는 전체 모델을 넣을 수 있습니다. Cactus는 독점 구조화 데이터 3,600억(360 billion) 토큰으로 학습했다고 밝힙니다.
가중치는 Apache 2.0이며, LoRA 파인튜닝은 Python 패키지로 로컬에서 실행됩니다. 추론 엔진은 소스가 아니라 사전 빌드된 바이너리로 배포됩니다. Better Stack은 10월 3일 영상에서 이 모델을 파인튜닝해 가상 로봇 오리를 조종했습니다.
Needle 3, 쓸 만한 가치가 있습니까?
Needle 3는 저희가 아는 한 휴대폰 명령에 대해 안정적으로 도구 호출을 하는 가장 작은 모델이며, 마케팅보다 범위가 좁습니다. 휴대폰 요청을 Android 인텐트로 연결하는 Mobile Actions에서 121M 모델은 완전 일치 86.0%를 기록했습니다. LFM2.5 1.2B는 82.4%, 클라우드의 DeepSeek V4 Flash는 88.4%입니다. DroidCall에 서는 47.0%로 모든 소형 모델 가운데 1위입니다. 10배 큰 모델을 이긴다는 주장의 근거가 이 결과들입니다.
Cactus는 추출에서도 2~3배 큰 모델과 대등하다고 하지만, 자체 차트는 다르게 말합니다. DSTC8에서는 F1 40.7로, 크기가 2배도 안 되는 230M LFM2.5의 53.0에 못 미칩니다. SNIPS 두 테스트에서는 모두 LFM2.5 350M이 앞섭니다(34.0 대 30.2, 29.0 대 24.7). 범용 function-calling 벤치마크인 BFCL v4에서는 50.2%로, LFM2.5 350M의 59.1%보다 낮습니다. 모든 수치는 Cactus 자체 측정이며, 자사가 배포하는 바이너리로 돌리고 경쟁 모델은 f16으로 돌렸습니다.
영리한 부분은 깊이 사다리이고, 그 효과는 파인튜닝에서 나타납니다. Cactus는 DroidCall로 튜닝하면 모든 깊이가 18~36점 오르며, 4레이어 29M 모델은 이 작업에서 DeepSeek V4 Flash를 넘어선다고 보고합니다. Better Stack의 오리 데모도 작은 규모로 같은 점을 보여줍니다. 학습에 쓰지 않은 프롬프트 49개에서 파인튜닝으로 전체 모델은 27%에서 84%로, 15 MB 4레이어 버전은 61%로 올랐습니다. 출시 전에 파인튜닝을 할 각오를 해야 합니다. base 모델은 출발점입니다.
세부 조건은 읽어 볼 만합니다. 엔진은 소스가 공개되지 않은 사전 빌드 라이브러리이고, 패키지와 바이너리는 NEEDLE_TELEMETRY=0을 설정하지 않으면 익명 사용 횟수를 전송합니다. 크기 수치도 어긋납니다. 페이지에는 8~29 MB라고 되어 있지만 Hugging Face의 20레이어 needle3.cact는 35.3 MB입니다. 출시 페이지는 GitHub 스타 20.6k를 내세우지만 저장소 자체에는 약 14,400개입니다.
제 역할을 하는 곳
로봇청소기 제조사의 펌웨어 팀
"주방은 청소하고 침실은 두기" 같은 음성 지시를 명령 순서로 바꾸기
제품 자체의 도구 세트로 LoRA 파인튜닝한 뒤, needle build로 로봇의 ARM 보드용 8레이어 하위 네트워크를 만듭니다. 음성은 Whistle과 짝지웁니다. 신뢰도가 낮은 호출은 바로 실행하지 말고 확인 프롬프트로 보냅니다.
개인 재무 앱의 Android 개발자
휴대폰에서 은행 알림을 가맹점, 금액, 날짜 필드로 읽어 들이기
Pydantic 스키마를 선언하고 extract()를 호출하면 출력은 항상 파싱됩니다. Cactus 차트에서도 일부 추출 테스트는 230M과 350M 경쟁 모델이 앞서므로, 먼저 자체 알림 데이터로 벤치마크합니다.
말하는 장난감이나 탁상 로봇을 만드는 메이커
성격 규칙을 갖춘 자연어 제어를 오프라인으로 추가하기
Better Stack은 RTX 5090에서 이 모델을 파인튜닝해 시뮬레이션된 Open Duck Mini를 조종했습니다. 처음 보는 프롬프트 49개에서 정확도가 27%에서 84%로 올랐습니다. 4레이어 15 MB 빌드는 61%를 기록했고 더 작은 보드에 맞습니다.
도입 전 확인할 점
- 설정
- pip install cactus-needle로 설치하고, Python 함수에 @needle.tool을 붙인 뒤 Needle(tools=[...]).run()을 호출합니다. 엔진과 가중치는 한 번만 내려받습니다. needle build --platform <folder> --layers N으로 기기용 번들을 만듭니다.
- 연동
- Python 패키지, C API(needle_load, needle_init, needle_complete, needle_embed), 로컬 HTTP 서버가 있는 CLI, iOS, Android, watchOS, MIPS 카메라, 브라우저, WASI 등 13개 플랫폼 폴더용 엔진. OpenAI 방식의 도구 스키마를 받습니다. 음성 입력용 Whistle을 같은 엔진에서 불러옵니다.
- 데이터와 개인정보
- 추론은 네트워크를 전혀 쓰지 않으며 망 분리 환경에서도 작동합니다. 익명 사용 텔레메트리는 기본으로 켜져 있고, NEEDLE_TELEMETRY=0과 DO_NOT_TRACK=1로 끕니다. 학습 데이터는 독점이며 공개되지 않았습니다.
- 대규모 사용 시 비용
- 라이선스나 호출당 요금이 없습니다. Cactus는 Raspberry Pi 5에서 디코딩 속도가 20레이어 초당 약 400 토큰부터 2레이어 4,000 토큰까지라고 보고합니다. 플랫폼 파인튜닝과 2비트 사후 학습은 유료이며 가격은 공개되지 않았습니다.
- 제한
- 도구 스키마는 프롬프트와 작은 컨텍스트를 나눠 쓰므로, 도구 목록이 크면 나누거나 검색해서 넣어야 합니다. 네이티브 API는 프로세스당 모델 하나만 올립니다. 로컬에서 파인튜닝해 내보낸 파일은 4비트여서 배포되는 2비트 파일보다 큽니다(Better Stack 테스트에서 20레이어 기준 63 MB).
좋은 점
- Cactus에 따르면 121M 파라미터로 Mobile Actions 86.0%
- 문법 제약 출력은 항상 파싱되고, 호출마다 보정된 신뢰도 제공
- 가중치 한 벌로 2~20레이어 어느 깊이로든 실행
- 로컬 LoRA 파인튜닝, Apache 2.0 가중치
아쉬운 점
- 추출과 BFCL v4에서 230M~350M 모델에 뒤처짐
- 엔진은 비공개 소스이고 텔레메트리가 기본으로 켜져 있음
- 공개된 크기와 스타 수가 저장소와 맞지 않음
- 대부분의 제품에는 base 모델의 파인튜닝이 필요
추천 대상
작고 고정된 동작 집합을 가진 기기 및 앱 제조사로, 매우 제한된 하드웨어에서 오 프라인으로 돌리기 위해 모델을 파인튜닝할 곳.
Needle 3 대안
Needle 3: 자주 묻는 질문
- Needle 3, 쓸 만한 가치가 있습니까?
- 다른 어떤 모델도 닿지 못한 크기에서 믿을 만한 휴대폰 명령 모델입니다. 다만 자체 차트가 뒷받침하는 것보다 넓은 주장으로 팔리고 있습니다. 평점은 5점 만점에 3.6점입니다.
- Needle 3의 가격은 얼마입니까?
- Apache 2.0 오픈 가중치는 무료이고, 사전 빌드 엔진도 무료로 내려받을 수 있습니다. Cactus Platform은 2비트 사후 학습, 데이터셋, 전체 파인튜닝을 판매하며 가격은 공개하지 않습니다.
- Needle 3의 단점은 무엇입니까?
- 추출과 BFCL v4에서 230M~350M 모델에 뒤처짐; 엔진은 비공개 소스이고 텔레메트리가 기본으로 켜져 있음; 공개된 크기와 스타 수가 저장소와 맞지 않음; 대부분의 제품에는 base 모델의 파인튜닝이 필요.
- Needle 3에 적합한 사람은 누구입니까?
- 작고 고정된 동작 집합을 가진 기기 및 앱 제조사로, 매우 제한된 하드웨어에서 오프라인으로 돌리기 위해 모델을 파인튜닝할 곳.
- 팀이나 프로덕션 환경에서 Needle 3의 비용은 얼마입니까?
- 라이선스나 호출당 요금이 없습니다. Cactus는 Raspberry Pi 5에서 디코딩 속도가 20레이어 초당 약 400 토큰부터 2레이어 4,000 토큰까지라고 보고합니다. 플랫폼 파인튜닝과 2비트 사후 학습은 유료이며 가격은 공개되지 않았습니다.
- Needle 3에 회사 데이터를 맡겨도 안전합니까?
- 추론은 네트워크를 전혀 쓰지 않으며 망 분리 환경에서도 작동합니다. 익명 사용 텔레메트리는 기본으로 켜져 있고, NEEDLE_TELEMETRY=0 과 DO_NOT_TRACK=1로 끕니다. 학습 데이터는 독점이며 공개되지 않았습니다.
- Needle 3의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 LFM3, Gemma 4 및 MiniCPM5-2B입니다.
답변 확인일: 2026년 11월 2일.