본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

Haru-4B

듣는 동시에 말하는 Apache 라이선스 4B 기반 모델로, MacBook에서 지연은 65ms이지만 벤치마크 점수는 아직 없습니다.

리뷰어: ReviewRamble editors · 업데이트

Haru-4B 방문 오픈 소스

이 페이지 공유:XLinkedInFacebookRedditWhatsApp이메일

평점

3.6/5

Haru-4B는 노트북 수준의 지연을 갖춘 전이중 음성의 야심 찬 오픈 출발점이지만, 목소리를 복제하고 점수를 공개하지 않는 연구용 기반 모델입니다.

Haru-4B의 개요

Haru-4B는 일본 음성 AI 스타트업 higurashi가 2026년 11월 12일 Apache 2.0으로 공개한 전이중(full-duplex) 음성 대 음성 모델입니다. 전이중이란 상대가 말을 끝내기를 기다리지 않고, 사람들이 통화할 때처럼 듣는 동시에 말한다는 뜻입니다. 133밀리초마다 사용자 음성 한 프레임을 받아 자신의 음성과 텍스트 한 프레임을 만들며, 세 스트림은 Qwen3.5-4B 기반 언어 모델의 한 위치에서 더해집니다. 음성은 이산 오디오 토큰이 아니라 64차원 연속 잠재 표현으로 나타내며, 작은 MLP 헤드가 각각을 한 번의 샘플링으로 생성합니다.

160개가 넘는 언어, 4,000만 시간 이상의 실제 음성으로 사전 학습했으며 주요 언어는 영어, 스페인어, 포르투갈어, 독일어, 프랑스어, 중국어, 일본어, 러시아어, 한국어 9개입니다. 이 중 1,300만 시간 이상은 최대 60분 길이의 대화를 두 화자로 분리한 데이터입니다. 텍스트 캐릭터 카드로 인격을, 3초에서 3분 길이의 클립으로 목소리를 정합니다. 비서가 아니라 연구용 사전 학습 기반 모델로 공개됐습니다.

Haru-4B, 쓸 만한 가치가 있습니까?

Haru-4B는 사람처럼 상대의 말에 겹쳐 말하고 맞장구치는, 음성 AI에서 가장 어려운 부분에 도전하는 진지한 오픈 시도이며, 공개 자료에는 구조와 지연 수치는 있지만 품질 점수는 없습니다. higurashi의 기술 글은 맞장구, 끼어들기, 겹치는 발화를 실제 녹음에서 학습했다고 설명하고, LLM이 쓴 대화와 음성 합성 오디오는 학습에서 일부러 뺐다고 밝힙니다. Moshi, MiniCPM-o 등 다른 전이중 모델과의 벤치마크 표는 없어서, 대화 품질은 데모에 기댈 수밖에 없습니다.

가장 뛰어난 것은 엔지니어링입니다. M1 Max MacBook에서 네이티브 Swift 앱은 int8 가중치로 종단 간 약 65밀리초를 기록하며, 그중 모델 한 단계가 34.2ms입니다. 7.5Hz 프레임 속도 때문에 최대 133ms가 더해질 수 있습니다. NVIDIA B300에서는 오디오 인코딩, 디코딩과 언어 모델 한 단계에 약 15ms가 걸리고, vLLM-Omni 플러그인은 여러 대화를 동시에 처리합니다. 연속 잠재 표현으로 초당 7.5단계만 돌기 때문에 4B 모델이 노트북에서도 이 일을 할 만큼 빠릅니다.

사전 학습 규모는 오픈 공개로는 이례적입니다. 4,000만 시간의 음성을 NVIDIA B200 GPU 256개로 약 8일간 학습했고, AWS와 일본 GENIAC 프로그램의 지원을 받았습니다. 관심도 빨라서 며칠 만에 Hugging Face 좋아요 842개, GitHub 스타 716개를 얻었습니다.

주의할 점: 이것은 기반 모델입니다. 모델 카드에 따르면 자연스러운 대화는 하지만 믿을 만한 사실 출처가 아니고 비서처럼 지시를 따르지 않으며, 회사도 작은 기반 모델이 응답 품질을 제한한다고 인정합니다. 3초 클립으로 어떤 목소리든 복제하는데 워터마크 언급은 없고 동의 확인은 사용자에게 맡기며, 데모의 `--share` 옵션은 오디오를 Gradio 서버로 거쳐 보내는 공개 링크를 엽니다.

결론: 음성 동반자를 만드는 연구실이나 제품 팀에게 Haru-4B는 자체 2채널 녹음으로 미세조정할 오픈 체크포인트입니다. 정확한 답을 내야 하는 상담 창구에게는 연구할 토대일 뿐, 전화에 바로 연결할 대상은 아닙니다.

제 역할을 하는 곳

  • 대학의 음성 연구 그룹

    오픈 모델에서 말차례 주고받기와 겹치는 발화 연구

    12GB NVIDIA GPU 한 장에서 PyTorch 구현을 실행하고 오프라인 추론으로 녹음된 사용자 음성을 프레임 단위로 넣습니다. 가중치, 코드, 구조는 공개됐고, 더 자세한 기술 보고서와 학습 코드는 예고됐지만 아직 나오지 않았습니다.

  • 어학 연습용 음성 동반자를 만드는 스타트업

    기다리지 않고 문장 중간에 반응하는 대화 상대를 학습자에게 제공

    튜터마다 캐릭터 카드를 쓰고 권리가 확보된 목소리 클립을 준비합니다. 기반 모델은 지시를 따르지 않으므로 출시 전 미세조정이 필요하며, 실서비스 트래픽은 vLLM-Omni 플러그인으로 처리합니다.

  • 기기 내 음성 앱을 시제품으로 만드는 Mac 개발자

    클라우드 비용 없이 저지연 전이중 음성 시험

    MLX 구현에서 `./build_app.sh`로 네이티브 Haru.app을 빌드하고 유선 헤드폰을 씁니다. 회사는 M1 Max에서 약 65ms 지연을 보고합니다.

도입 전 확인할 점

설정
`git clone https://github.com/higurashi-ai/Haru`, `pip install -e ./haru` 후 `python -m haru.server --hf-repo higurashi-ai/Haru-4B`를 실행하고 localhost:8998을 엽니다. 목소리 클립은 포함되지 않아 직접 올려야 합니다.
연동
React 웹 클라이언트를 갖춘 PyTorch 구현, MLX와 Swift 네이티브 macOS 앱, vLLM-Omni 서빙 플러그인, 오프라인 `haru-inference` 명령. NVIDIA GPU용 Triton 코덱 커널.
데이터와 개인정보
`--share`를 쓰지 않는 한 전부 자체 하드웨어에서 실행됩니다. `--share`를 쓰면 링크를 가진 누구에게나 Gradio 공유 서버를 거쳐 오디오가 전달됩니다. 학습에는 Sidon 음성 복원으로 정리하고 회사의 FastDialogueSidon 모델로 2채널로 분리한 실제 음성을 썼으며, 출처 내역은 공개되지 않았습니다.
대규모 사용 시 비용
라이선스 비용은 없습니다. 대화 한 건은 12GB NVIDIA GPU에 들어갑니다. 많은 동시 통화에는 vLLM-Omni 경로가 데이터센터 GPU를 겨냥하며, B300에서는 한 단계 전체가 약 15ms입니다. GPU당 동시 처리량은 공개되지 않았습니다.
제한
입출력 모두 24kHz 오디오, 한 번에 133ms 프레임 하나. 참조 음성은 화자 한 명의 3초~3분. 벤치마크와 지시 수행이 없고, 브라우저는 localhost나 HTTPS에서만 마이크를 허용합니다.

좋은 점

  • 맞장구와 끼어들기를 포함해 듣는 동시에 말함
  • 회사 발표 기준 M1 Max MacBook에서 종단 간 지연 약 65ms
  • 가중치와 코드 모두 Apache 2.0
  • 4,000만 시간의 실제 음성에서 나온 9개 주요 언어
  • PyTorch, MLX, vLLM-Omni 구현을 함께 제공

아쉬운 점

  • 공개된 벤치마크나 다른 전이중 모델과의 비교 없음
  • 기반 모델이라 사실 면에서 신뢰하기 어렵고 지시를 따르지 않음
  • 3초 클립으로 목소리를 복제하며 워터마크 언급 없음
  • Bluetooth 오디오는 100ms 이상 지연을 더해 유선 헤드셋 권장

추천 대상

자연스럽고 끼어들 수 있는 대화를 위해 미세조정할 오픈 전이중 기반 모델을 원하는 음성 연구자와 음성 제품 팀.

Haru-4B 대안

Haru-4B: 자주 묻는 질문

Haru-4B, 쓸 만한 가치가 있습니까?
Haru-4B는 노트북 수준의 지연을 갖춘 전이중 음성의 야심 찬 오픈 출발점이지만, 목소리를 복제하고 점수를 공개하지 않는 연구용 기반 모델입니다. 평점은 5점 만점에 3.6점입니다.
Haru-4B의 가격은 얼마입니까?
가중치와 코드는 Apache 2.0으로 무료. 자체 호스팅에는 메모리 약 12GB의 NVIDIA GPU나 Apple silicon Mac이 필요하며, 호스팅 API는 없습니다.
Haru-4B의 단점은 무엇입니까?
공개된 벤치마크나 다른 전이중 모델과의 비교 없음; 기반 모델이라 사실 면에서 신뢰하기 어렵고 지시를 따르지 않음; 3초 클립으로 목소리를 복제하며 워터마크 언급 없음; Bluetooth 오디오는 100ms 이상 지연을 더해 유선 헤드셋 권장.
Haru-4B에 적합한 사람은 누구입니까?
자연스럽고 끼어들 수 있는 대화를 위해 미세조정할 오픈 전이중 기반 모델을 원하는 음성 연구자와 음성 제품 팀.
팀이나 프로덕션 환경에서 Haru-4B의 비용은 얼마입니까?
라이선스 비용은 없습니다. 대화 한 건은 12GB NVIDIA GPU에 들어갑니다. 많은 동시 통화에는 vLLM-Omni 경로가 데이터센터 GPU를 겨냥하며, B300에서는 한 단계 전체가 약 15ms입니다. GPU당 동시 처리량은 공개되지 않았습니다.
Haru-4B에 회사 데이터를 맡겨도 안전합니까?
`--share`를 쓰지 않는 한 전부 자체 하드웨어에서 실행됩니다. `--share`를 쓰면 링크를 가진 누구에게나 Gradio 공유 서버를 거쳐 오디오가 전달됩니다. 학습에는 Sidon 음성 복원으로 정리하고 회사의 FastDialogueSidon 모델로 2채널로 분리한 실제 음성을 썼으며, 출처 내역은 공개되지 않았습니다.
Haru-4B의 가장 좋은 대안은 무엇입니까?
저희가 리뷰한 것 중 가장 가까운 대안은 MiniCPM-o 4.5, GPT-Live-1 (and GPT-Realtime-2.1) 및 Sesame CSM-1B입니다.

답변 확인일: 2026년 11월 21일.