Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

LLMLingua

Le compresseur de prompts de Microsoft Research : un petit modèle local supprime les tokens peu utiles avant que le prompt n'atteigne le modèle payant.

Avis de ReviewRamble editors · Mis à jour

Voir sur GitHub Open source

Partager cette page :XLinkedInFacebookRedditWhatsAppE-mail

Notre note

3.7/5

Une méthode de recherche crédible pour réduire les longs prompts RAG, mais le 20x est le meilleur cas de l'article et le paquet n'a publié aucune version depuis avril 2024.

Qu’est-ce que LLMLingua ?

LLMLingua raccourcit les prompts avant leur envoi à un grand modèle. Un modèle de langage plus petit note chaque token et la bibliothèque écarte ceux qu'il juge les moins informatifs ; le résultat est un prompt télégraphique, souvent agrammatical, que le grand modèle sait encore lire. Le paquet réunit trois méthodes publiées : LLMLingua (EMNLP 2023), LongLLMLingua (ACL 2024), qui classe et réordonne les passages récupérés autour de la question de l'utilisateur pour le RAG, et LLMLingua-2 (ACL 2024 Findings), un classifieur de tokens distillé à partir d'étiquettes GPT-4 qui, selon les auteurs, tourne 3x à 6x plus vite que l'original. Un quatrième modèle, SecurityLingua, applique la même idée à la détection des prompts de jailbreak.

Le modèle qui tourne en local dépend de la méthode. Le PromptCompressor par défaut charge NousResearch/Llama-2-7b-hf, un modèle de 6,7 milliards de paramètres, sur un GPU CUDA ; le README propose microsoft/phi-2 ou un Llama 2 quantifié en GPTQ qui tient dans moins de 8 Go de mémoire GPU. LLMLingua-2 le remplace par un encodeur : microsoft/llmlingua-2-xlm-roberta-large-meetingbank (environ 559 millions de paramètres) ou une version multilingue BERT-base (environ 177 millions), assez petite pour le CPU.

Il est sous licence MIT, s'installe avec pip install llmlingua et dispose d'intégrations dans LangChain, LlamaIndex et Prompt flow de Microsoft.

LLMLingua vaut-il le coup ?

LLMLingua est la réponse académique la plus connue à une facture bien réelle : des documents récupérés et de longues transcriptions qui coûtent plus cher à envoyer que la réponse ne vaut. Le "jusqu'à 20x de compression avec une perte de performance minime" du README est le résultat des auteurs eux-mêmes dans l'article de 2023, sur des benchmarks de raisonnement et d'apprentissage en contexte, pas une mesure indépendante, et l'exemple du README compresse un prompt de mathématiques de 2,365 tokens à 211 tokens, un ratio de 11.2x. L'affirmation phare de LongLLMLingua est plus étroite et plus utile pour le RAG : jusqu'à 21.4% de meilleures réponses avec un quart des tokens, là encore sur les benchmarks des auteurs.

Le texte compressé perd de l'information, et cela se voit. Dans l'exemple du README, "highlighter pens" devient "ilters" et des nombres fusionnent ; le grand modèle s'en sort en général, mais tout ce qui dépend de chiffres exacts, de noms, de code ou d'une formulation juridique doit rester hors compression. La bibliothèque permet de marquer des sections avec des balises compress=False, ou d'imposer la conservation de tokens comme les retours à la ligne et les points d'interrogation, et ce soin fait la différence entre un déploiement utile et un déploiement qui se dégrade sans bruit.

Le coût caché, c'est le compresseur lui-même. Le chemin par défaut charge un Llama 2 7B sur un GPU à chaque appel, ce qui peut coûter plus en latence et en matériel que l'économie réalisée sur un modèle d'API bon marché. LLMLingua-2 avec le modèle XLM-RoBERTa de 559 millions de paramètres est le point de départ raisonnable. Les ratios sont exprimés en tokens OpenAI, car la bibliothèque compte avec l'encodage gpt-3.5-turbo de tiktoken ; les économies sur Claude ou Gemini seront donc différentes.

Le hic : la maintenance n'est plus qu'un filet. La dernière version PyPI, 0.2.2, date du 9 avril 2024 ; les commits de 2026 se limitent jusqu'ici à épingler des GitHub Actions, et 101 tickets sont ouverts. Cela fonctionne, mais vous adoptez du code de recherche, pas un produit maintenu.

Notre avis : la compression se justifie là où les prompts sont longs, répétitifs et tolèrent la paraphrase, comme les transcriptions de réunions et les piles de passages récupérés. Pour des prompts d'agent courts, le prompt caching du fournisseur du modèle est la première mesure la moins coûteuse.

Là où il fait la différence

  • Un ingénieur ML qui exploite un assistant RAG sur des documents de politique interne

    Réduire les tokens d'entrée consommés par les passages récupérés sans perdre en qualité de réponse

    Ajoutez LongLLMLingua comme node postprocessor LlamaIndex avec un rate proche de 0.5, et laissez la question de l'utilisateur et les citations non compressées. Mesurez la justesse des réponses sur 100 vraies questions avant et après ; le 4x de l'article est un plafond, pas une promesse.

  • Une équipe produit qui résume des appels commerciaux d'une heure

    Faire tenir des transcriptions complètes dans la fenêtre de contexte d'un modèle moins cher

    Lancez LLMLingua-2 avec le modèle multilingue BERT-base sur CPU sur la transcription avec un rate de 0.33, en conservant les étiquettes de locuteur via force_tokens. Le compresseur ajoute un appel de modèle par transcription, mais aucune dépense d'API.

  • Un ingénieur sécurité dans une entreprise dotée d'un chatbot public

    Repérer les tentatives de jailbreak avant qu'elles n'atteignent le modèle principal

    SecurityLingua compresse un prompt entrant jusqu'à son intention apparente, qu'une étape de contrôle peut ensuite vérifier. C'est un modèle de recherche de 2025 avec son propre readme ; traitez-le comme un signal parmi d'autres, à côté d'un guardrail dédié.

Avant de vous engager

Mise en route
pip install llmlingua installe torch et transformers ; le premier appel à PromptCompressor télécharge le modèle choisi depuis Hugging Face, plusieurs Go pour le Llama 2 par défaut.
Intégrations
Retriever LangChain, node postprocessor LlamaIndex, outil Microsoft Prompt flow et appels Python directs (compress_prompt, structured_compress_prompt).
Données et confidentialité
Tourne entièrement en local une fois les modèles téléchargés ; rien n'est envoyé à Microsoft. Les chiffres de 20x et 21.4% viennent des articles des auteurs.
Coût à grande échelle
Aucun coût de licence. Le vrai coût est l'inférence du compresseur : un GPU pour le 7B par défaut, ou du temps CPU pour les encodeurs de 177M ou 559M de LLMLingua-2.
Limites
Dernière version 0.2.2 en avril 2024 ; 101 tickets ouverts ; économies comptées en tokens OpenAI ; sortie avec perte inadaptée au code, aux chiffres exacts ou aux textes contractuels.

Les points forts

  • Trois méthodes évaluées par les pairs dans un seul paquet pip
  • LLMLingua-2 tourne sur un encodeur de 177M ou 559M, adapté au CPU
  • Contrôle par section de ce qui est compressé
  • Intégrations prêtes pour LangChain et LlamaIndex

Les points faibles

  • Le 20x affiché est le meilleur cas des auteurs
  • Le modèle par défaut est un Llama 2 7B sur GPU
  • La sortie avec perte peut abîmer chiffres et noms
  • Aucune version PyPI depuis avril 2024

Idéal pour

Les pipelines RAG et de transcriptions où un contexte long et tolérant à la paraphrase domine la facture de tokens, et où quelqu'un peut tester la qualité des réponses avant et après.

Alternatives à LLMLingua

LLMLingua : questions fréquentes

LLMLingua vaut-il le coup ?
Une méthode de recherche crédible pour réduire les longs prompts RAG, mais le 20x est le meilleur cas de l'article et le paquet n'a publié aucune version depuis avril 2024. Nous lui donnons 3.7 sur 5.
Combien coûte LLMLingua ?
Gratuit et open source sous MIT. Vous payez le temps GPU ou CPU du modèle compresseur local.
Quels sont les inconvénients de LLMLingua ?
Le 20x affiché est le meilleur cas des auteurs; le modèle par défaut est un Llama 2 7B sur GPU; la sortie avec perte peut abîmer chiffres et noms; aucune version PyPI depuis avril 2024.
À qui s’adresse LLMLingua ?
Les pipelines RAG et de transcriptions où un contexte long et tolérant à la paraphrase domine la facture de tokens, et où quelqu'un peut tester la qualité des réponses avant et après.
Combien coûte LLMLingua pour une équipe ou en production ?
Aucun coût de licence. Le vrai coût est l'inférence du compresseur : un GPU pour le 7B par défaut, ou du temps CPU pour les encodeurs de 177M ou 559M de LLMLingua-2.
LLMLingua est-il sûr pour les données de l’entreprise ?
Tourne entièrement en local une fois les modèles téléchargés ; rien n'est envoyé à Microsoft. Les chiffres de 20x et 21.4% viennent des articles des auteurs.
Quelles sont les meilleures alternatives à LLMLingua ?
Les alternatives les plus proches que nous avons testées sont Headroom, LlamaIndex et Caveman.

Réponses vérifiées le 20 nov. 2026.