Qu’est-ce que Chonkie ?
Chonkie fait un seul travail dans un pipeline de génération augmentée par récupération (RAG) : il découpe du texte déjà extrait en morceaux avant qu'ils soient embeddés et stockés. La version 1.7.0 liste onze chunkers, du découpage par tokens et phrases de taille fixe au découpage récursif, sémantique, tardif, de code, de table et neuronal, jusqu'à un chunker « Slumber » piloté par LLM, plus une Pipeline API et un serveur REST auto-hébergé.
En août 2026, les mainteneurs ont annoncé que la 1.7 serait la dernière version 1.x. Chonkie v2 est une réécriture sous forme de petit cœur Rust avec des bindings Python et JavaScript qui garde les chunkers par tokens, phrases, récursif et code et retire les intégrations de base de données vectorielle et autre plomberie ; la branche main est gelée aux pull requests entretemps. Le Chonkie Cloud hébergé ne se résout plus.
Il est sous licence MIT et construit par Chonkie, Inc., une entreprise Y Combinator qui opère désormais sous le nom de Feyn et vend de l'entraînement de modèles sur mesure ; chonkie.ai redirige vers usefeyn.com et le dépôt vit dans l'organisation feyninc.
Chonkie vaut-il le coup ?
Chonkie est une réponse bien faite à une question qui compte moins que les gens ne le pensent, et ses propres mainteneurs en conviennent désormais. Dans l'annonce v2 d'août 2026, ils rapportent que, sur des centaines d'exécutions sur leur benchmark MTCB, les chunkers sémantique, neuronal et Slumber étaient soit bien pires que le chunker récursif, soit à 2 à 3 pour cent de lui. Cela correspond à des travaux extérieurs : une étude Vectara de 2024 a trouvé que le calcul supplémentaire du découpage sémantique n'était pas justifié, et une étude d'août 2026 sur huit stratégies a trouvé que le gagnant change avec le modèle d'embedding, le jeu de données et la métrique.
La bibliothèque est populaire. L'annonce cite 1,3 million de téléchargements par mois, et le dépôt a environ 4 800 étoiles. L'installation de base est petite (le README revendique une wheel de 505 Ko) et le chunker récursif avec sa recette Markdown est un bon défaut. Les affirmations de vitesse, comme un chunker SIMD à « 100+ Go/s », sont les propres benchmarks du projet.
Le problème est le calendrier. La v1.7.0 est sortie le 7 juillet 2026 et est la dernière version 1.x ; les correctifs vont à la v2, la branche main est gelée aux pull requests, et le dernier commit sur main date du 26 août 2026. La v2 abandonne les intégrations (les « handshakes » vers Qdrant, pgvector et d'autres), les chefs et les chunkers cloud périmés, et promet un guide de migration de la 1.x à la 2.0. Les bugs ouverts incluent un plantage du CodeChunker avec tree-sitter-language-pack 1.16.1 et des tokeniseurs de chaîne qui ignorent HF_HUB_OFFLINE et bloquent sur le réseau.
Une équipe qui l'adopte maintenant achète une dépendance qu'elle devra migrer d'ici quelques mois, vers une API qu'elle ne peut pas encore lire. C'est un pari raisonnable pour quelqu'un qui n'a besoin que du découpage récursif ou de code, que la v2 garde. C'en est un mauvais pour quiconque choisit Chonkie pour son menu de stratégies ou ses connecteurs de magasin de vecteurs, que les splitters de LlamaIndex et LangChain couvrent déjà avec des horizons de support plus longs.
Là où il fait la différence
Un ingénieur plateforme qui fait une ingestion nocturne de 200 000 pages Markdown de centre d'aide
Découper les documents de façon cohérente avant l'embedding sans importer tout un framework RAG
pip install chonkie et utilisez RecursiveChunker avec la recette markdown ; la petite installation convient à un travail par lot serverless. Épinglez la 1.7.0 et prévoyez une migration v2, puisqu'aucun autre correctif 1.x n'arrive.
Un ingénieur ML dans une start-up legal-tech qui évalue la qualité de récupération
Tester si le découpage sémantique ou tardif bat le découpage récursif sur leurs contrats
Échangez les chunkers derrière une seule API et notez le rappel sur un ensemble de questions mis de côté. Vaut une journée, pas un trimestre : les mainteneurs ont trouvé les chunkers sophistiqués à 2 à 3 pour cent du récursif, et la v2 les abandonne.
Un responsable des données qui choisit une pile d'ingestion pour un produit de deux ans
Choisir des dépendances qui seront encore supportées l'année prochaine
Traitez Chonkie comme une primitive de découpage seulement. Ses handshakes de magasin de vecteurs sont retirés en v2, alors câblez Qdrant ou pgvector directement, ou utilisez LlamaIndex si vous voulez des connecteurs maintenus pour vous.
Avant de vous engager
- Mise en route
- pip install chonkie sur Python 3.10 ou plus récent ; les chunkers plus lourds ont besoin d'extras comme chonkie[semantic] ou chonkie[code]. Un premier document découpé prend quelques minutes sur un CPU de portable.
- Intégrations
- La v1.7 livre des handshakes pour Chroma, Elasticsearch, MongoDB, pgvector, Pinecone, Qdrant et d'autres, un chef OCR Mistral et un serveur REST ; la v2 retirera les handshakes et les chefs.
- Données et confidentialité
- Tourne en local sans télémétrie trouvée dans le code. Les noms de tokeniseurs de chaîne sont récupérés depuis le Hugging Face Hub, et une issue ouverte rapporte que cela ignore HF_HUB_OFFLINE. Le serveur REST stocke les pipelines dans un SQLite local.
- Coût à grande échelle
- Gratuit sous MIT ; le découpage récursif et par tokens tourne sur CPU. Les coûts viennent des appels d'embedding ou de LLM derrière le découpage sémantique, tardif ou Slumber. L'ancien Chonkie Cloud ne se résout plus et Feyn ne vend aucun produit de découpage.
- Limites
- 49 issues et pull requests ouvertes, main gelée pendant la réécriture v2 ; il ne parse pas les PDF ni les fichiers Office, si bien que Docling ou similaire doit se placer devant.
Les points forts
- Petite installation de cœur avec des extras optionnels
- Chunkers récursif et de code qui survivent en v2
- Les mainteneurs publient des conclusions de benchmark franches
- Licence MIT permissive
Les points faibles
- La v1.7 est la dernière version 1.x ; main est gelée
- La v2 retire les chunkers sémantique, neuronal et Slumber et toutes les intégrations
- Le focus de l'entreprise est passé à l'entraînement de modèles sur mesure
Idéal pour
Les équipes qui ont besoin d'une étape légère de découpage récursif ou de code et peuvent accepter une migration v2 bientôt.
Alternatives à Chonkie
Chonkie : questions fréquentes
- Chonkie vaut-il le coup ?
- Une bibliothèque de découpage soignée en pleine réécriture : la v1.7 fonctionne aujourd'hui, mais l'essentiel de ce qui la distingue est programmé pour suppression en v2. Nous lui donnons 3.7 sur 5.
- Combien coûte Chonkie ?
- Gratuit et open source sous la licence MIT.
- Quels sont les inconvénients de Chonkie ?
- La v1.7 est la dernière version 1.x ; main est gelée; la v2 retire les chunkers sémantique, neuronal et Slumber et toutes les intégrations; le focus de l'entreprise est passé à l'entraînement de modèles sur mesure.
- À qui s’adresse Chonkie ?
- Les équipes qui ont besoin d'une étape légère de découpage récursif ou de code et peuvent accepter une migration v2 bientôt.
- Combien coûte Chonkie pour une équipe ou en production ?
- Gratuit sous MIT ; le découpage récursif et par tokens tourne sur CPU. Les coûts viennent des appels d'embedding ou de LLM derrière le découpage sémantique, tardif ou Slumber. L'ancien Chonkie Cloud ne se résout plus et Feyn ne vend aucun produit de découpage.
- Chonkie est-il sûr pour les données de l’entreprise ?
- Tourne en local sans télémétrie trouvée dans le code. Les noms de tokeniseurs de chaîne sont récupérés depuis le Hugging Face Hub, et une issue ouverte rapporte que cela ignore HF_HUB_OFFLINE. Le serveur REST stocke les pipelines dans un SQLite local.
- Quelles sont les meilleures alternatives à Chonkie ?
- Les alternatives les plus proches que nous avons testées sont LlamaIndex, LangChain et Docling.
Réponses vérifiées le 26 oct. 2026.