Chonkieとは？
Chonkie は検索拡張生成（RAG）のパイプラインで1つの仕事をします。抽出済みのテキストを、埋め込みと保存の前にチャンクに切り分けることです。バージョン 1.7.0 には 11 のチャンカーがあり、固定サイズのトークン分割や文分割から、再帰、セマンティック、late 、コード、表、ニューラルのチャンキング、LLM が主導する「Slumber」チャンカーまでそろっています。Pipeline API とセルフホスト型の REST サーバーもあります。
2026年8月、メンテナーは 1.7 が最後の 1.x リリースになると発表しました。Chonkie v2 は Python と JavaScript のバインディングを持つ小さな Rust コアとして書き直され、トークン、文、再帰、コードのチャンカーを残し、ベクトルデータベースとの連携などの周辺部分を削ります。その間、main ブランチはプルリクエストを受け付けていません。ホスト型の Chonkie Cloud はもうアクセスできません。
ライセンスは MIT で、開発元の Chonkie, Inc. は Y Combinator 出身の企業です。現在は Feyn として事業を行い、カスタムモデルの学習を販売しています。chonkie.ai は usefeyn.com にリダイレクトされ、リポジトリは feyninc という組織にあります。
Chonkieは使う価値があるか？
Chonkie は、人々が思うほど重要ではない問いへのよくできた答えであり、今ではメンテナー自身もそれを認めています。2026年8月の v2 の発表では、自社の MTCB ベンチマークで数百回実行した結果、セマンティック、ニューラル、Slumber のチャンカーは再帰チャンカーより大幅に劣るか、その差が 2〜3% 以内だったと報告しています。外部の研究とも一致します。2024 年の Vectara の研究はセマンティックチャンキングの追加の計算量は正当化されないとし、2026年8月の8つの戦略の研究は、最適な戦略が埋め込みモデル、データセット、指標によって変わるとしています。
ライブラリは人気があります。発表では月 130万（1.3 million）ダウンロードとされ、リポジトリのスターは約 4,800 です。基本のインストールは小さく（README は 505KB の wheel としています）、再帰チャンカーと Markdown のレシピは妥当な初期設定です。SIMD チャンカーの「100+ GB/s」のような速度の主張は、プロジェクト自身のベンチマークです。
問題はタイミングです。v1.7.0 は2026年7月7日に公開された最後の 1.x リリースで、修正は v2 に入り、main ブランチはプルリクエストを受け付けず、main の最後のコミットは2026年8月26日です。v2 では連携（Qdrant、pgvector などへの「handshakes」）、chefs、古くなったクラウドのチャンカーが削られ、1.x から 2.0 への移行ガイドが約束されています。未解決のバグには、tree-sitter-language-pack 1.16.1 での CodeChunker のクラッシュや、文字列のトークナイザーが HF_HUB_OFFLINE を無視してネットワークで止まる問題があります。
今これを採用するチームは、数か月以内に、まだ読めない API への移行が必要になる依存関係を抱えることになります。v2 に残る再帰チャンキングやコードのチャンキングだけが必要な人にとっては妥当な賭けです。戦略の豊富さやベクトルストアとのコネクターを理由に Chonkie を選ぶ人には悪い賭けで、それらは LlamaIndex や LangChain のスプリッターがより長いサポート期間でカバーしています。
真価を発揮する場面
Markdown のヘルプセンターのページ 200,000 件を毎晩取り込んでいるプラットフォームエンジニア
RAG フレームワーク 全体を持ち込まずに、埋め込み前の文書を一貫して分割したい
pip install chonkie で導入し、markdown のレシピで RecursiveChunker を使います。インストールが小さいためサーバーレスのバッチ処理に合います。1.x の修正はもう出ないため、1.7.0 に固定し、v2 への移行を計画します。
検索の品質を評価しているリーガルテックのスタートアップの ML エンジニア
自社の契約書でセマンティックや late のチャンキングが再帰チャンキングに勝るかを試したい
1つの API の背後でチャンカーを入れ替え、別に取っておいた質問セットで再現率を測ります。かけるのは1日で十分で、四半期ではありません。メンテナーは凝ったチャンカーと再帰の差が 2〜3% 以内だと報告しており、v2 ではそれらが削られます。
2年間の製品のために取り込みの構成を選んでいるデータ部門の責任者
来年もサポートされている依存関係を選びたい
Chonkie はチャンキングの基本部品としてだけ扱います。ベクトルストアの handshakes は v2 で削除されるため、Qdrant や pgvector には直接つなぐか、コネクターの保守を任せたいなら LlamaIndex を使います。
導入前に確認すること
- 導入
- Python 3.10 以上で pip install chonkie を実行します。重いチャンカーには chonkie[semantic] や chonkie[code] などの追加が必要です。最初の文書のチャンキングは、ノートパソコンの CPU で数分です。
- 連携
- v1.7 には Chroma、Elasticsearch、MongoDB、pgvector、Pinecone、Qdrant などの handshakes、Mistral OCR の chef、REST サーバーが含まれます。v2 では handshakes と chefs が削除されます。
- データとプライバシー
- ローカルで動き、コードにテレメトリーは見当たりません。文字列のトークナイザー名は Hugging Face Hub から取得され、未解決の issue ではこれが HF_HUB_OFFLINE を無視すると報告されています。REST サーバーはパイプラインをローカルの SQLite に保存します。
- 大規模利用時のコスト
- MIT で無料です。再帰とトークンのチャンキングは CPU で動きます。費用はセマンティック、late、Slumber のチャンキングの背後にある埋め込みや LLM の呼び出しから生じます。以前の Chonkie Cloud はもうアクセスできず、Feyn はチャンキングの製品を販売していません。
- 制限
- 未解決の issue とプルリクエストが 49 件あり、v2 の書き直しの間 main は凍結されています。PDF や Office ファイルは解析しないため、Docling などを前段に置く必要があります。
良い点
- コアのインストールが小さく、追加機能はオプションです
- 再帰とコードのチャンカーは v2 にも残ります
- メンテナーがベンチマークの結果を率直に公開しています
- 制約の少ない MIT ライセンスです
気になる点
- v1.7 が最後の 1.x リリースで、main は凍結されています
- v2 ではセマンティック、ニューラル、Slumber のチャンカーとすべての連携が削除されます
- 会社の重点はカスタムモデルの学習に移っています
おすすめの人
軽い再帰チャンキングやコードのチャンキングの工程が必要で、近いうちの v2 への移行を受け入れられるチームに向いています。
Chonkieの代替
Chonkie：よくある質問
- Chonkieは使う価値があるか？
- 書き直しの途中にある整ったチャンキングライブラリです。v1.7 は今日使えますが、その特徴の大半は v2 で削除される予定です。 評価は5点満点中3.7点です。
- Chonkieの料金は？
- MIT ライセンスの無料オープンソースです。
- Chonkieの欠点は？
- v1.7 が最後の 1.x リリースで、main は凍結されています; v2 ではセ マンティック、ニューラル、Slumber のチャンカーとすべての連携が削除されます; 会社の重点はカスタムモデルの学習に移っています.
- Chonkieは誰に向いているか？
- 軽い再帰チャンキングやコードのチャンキングの工程が必要で、近いうちの v2 への移行を受け入れられるチームに向いています。
- チームや本番環境でChonkieを使うと費用はいくらか？
- MIT で無料です。再帰とトークンのチャンキングは CPU で動きます。費用はセマンティック、late、Slumber のチャンキングの背後にある埋め込みや LLM の呼び出しから生じます。以前の Chonkie Cloud はもうアクセスできず、Feyn はチャンキングの製品を販売していません。
- Chonkieは企業データを扱っても安全か？
- ローカルで動き、コードにテレメトリーは見当たりません。文字列のトークナイザー名は Hugging Face Hub から取得され、未解決の issue ではこれが HF_HUB_OFFLINE を無視すると報告されています。REST サーバーはパイプラインをローカルの SQLite に保存します。
- Chonkieの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はLlamaIndex, LangChain 、 Doclingです。
回答確認日：2026年10月26日