Was ist LLMLingua?
LLMLingua kürzt Prompts, bevor sie an ein großes Modell gehen. Ein kleineres Sprachmodell bewertet jedes Token, und die Bibliothek verwirft die, die es für am wenigsten informativ hält. Heraus kommt ein knapper, oft ungrammatischer Prompt, den das große Modell trotzdem lesen kann. Das Paket bündelt drei veröffentlichte Methoden: LLMLingua (EMNLP 2023), LongLLMLingua (ACL 2024), das abgerufene Passagen für RAG rund um die Nutzerfrage bewertet und neu ordnet, und LLMLingua-2 (ACL 2024 Findings), einen aus GPT-4-Labels destillierten Token-Klassifikator, der laut den Autoren 3x bis 6x schneller läuft als das Original. Ein viertes Modell, SecurityLingua, nutzt dieselbe Idee, um Jailbreak-Prompts zu erkennen.
Welches Modell lokal läuft, hängt von der Methode ab. Der Standard-PromptCompressor lädt NousResearch/Llama-2-7b-hf, ein Modell mit 6,7 Milliarden Parametern, auf eine CUDA-GPU; das README bietet microsoft/phi-2 oder ein mit GPTQ quantisiertes Llama 2 an, das in weniger als 8 GB GPU-Speicher passt. LLMLingua-2 ersetzt das durch einen Encoder: microsoft/llmlingua-2-xlm-roberta-large-meetingbank (etwa 559 Millionen Parameter) oder eine mehrsprachige BERT-base-Version (etwa 177 Millionen), klein genug für die CPU.
Es steht unter MIT-Lizenz, wird mit pip install llmlingua installiert und hat Integrationen in LangChain, LlamaIndex und Microsofts Prompt flow.
Lohnt sich LLMLingua?
LLMLingua ist die bekannteste akademische Antwort auf eine echte Rechnung: abgerufene Dokumente und lange Transkripte, deren Versand mehr kostet, als die Antwort wert ist. Die "bis zu 20x Kompression bei minimalem Leistungsverlust" im README sind das eigene Ergebnis der Autoren aus dem Paper von 2023 auf Benchmarks für Reasoning und In-Context-Learning, keine unabhängige Messung, und das Beispiel im README selbst komprimiert einen Mathe-Prompt mit 2.365 Tokens auf 211 Tokens, ein Verhältnis von 11,2x. Die zentrale Aussage von LongLLMLingua ist enger und für RAG nützlicher: bis zu 21,4 % bessere Antworten mit einem Viertel der Tokens, wiederum auf den Benchmarks der Autoren.
Der komprimierte Text ist verlustbehaftet, und das sieht man. Im README-Beispiel wird aus "highlighter pens" "ilters", und Zahlen verschmelzen; das große Modell kommt meist zurecht, aber alles, was von exakten Zahlen, Namen, Code oder juristischem Wortlaut abhängt, sollte von der Kompression ausgenommen werden. Die Bibliothek erlaubt, Abschnitte mit compress=False-Tags zu markieren oder Tokens wie Zeilenumbrüche und Fragezeichen zu erzwingen, und diese Sorgfalt trennt einen nützlichen Einsatz von einem, der still schlechter wird.
Die versteckten Kosten liegen im Kompressor selbst. Der Standardweg lädt bei jedem Aufruf ein 7B-Llama 2 auf eine GPU, was an Latenz und Hardware mehr kosten kann, als es bei einem günstigen API-Modell spart. LLMLingua-2 mit dem XLM-RoBERTa-Modell mit 559 Millionen Parametern ist der vernünftige Startpunkt. Die Verhältnisse werden in OpenAI-Tokens angegeben, weil die Bibliothek mit der gpt-3.5-turbo-Kodierung von tiktoken zählt; die Ersparnis bei Claude oder Gemini fällt also anders aus.
Der Haken: Die Wartung ist zu einem Rinnsal geworden. Das letzte PyPI-Release, 0.2.2, stammt vom 9. April 2024; die Commits von 2026 pinnen bislang GitHub Actions, und 101 Issues sind offen. Es funktioniert, aber du übernimmst Forschungscode, kein unterstütztes Produkt.
Unser Fazit: Kompression lohnt sich dort, wo Prompts lang, repetitiv und paraphrasentolerant sind, etwa bei Meeting-Transkripten und Stapeln abgerufener Passagen. Bei kurzen Agenten-Prompts ist das Prompt Caching des Modellanbieters der günstigere erste Schritt.
Wo es sich lohnt
Ein ML-Engineer, der einen RAG-Assistenten über Richtliniendokumente betreibt
Die Eingabe-Tokens für abgerufene Passagen kürzen, ohne Antwortqualität zu verlieren
Füge LongLLMLingua als LlamaIndex-Node-Postprocessor mit rate um 0.5 hinzu und lass Nutzerfrage und Zitate unkomprimiert. Miss die Antwortgenauigkeit an 100 echten Fragen vorher und nachher; die 4x des Papers sind eine Obergrenze, kein Versprechen.
Ein Produktteam, das einstündige Vertriebsgespräche zusammenfasst
Vollständige Transkripte in das Kontextfenster eines günstigeren Modells bringen
Lass LLMLingua-2 mit dem mehrsprachigen BERT-base-Modell auf der CPU mit rate 0.33 über das Transkript laufen und behalte die Sprecherlabels mit force_tokens. Der Kompressor fügt pro Transkript einen Modellaufruf hinzu, aber keine API-Kosten.
Ein Security-Engineer in einem Unternehmen mit öffentlichem Chatbot
Jailbreak-Versuche markieren, bevor sie das Hauptmodell erreichen
SecurityLingua komprimiert einen eingehenden Prompt auf seine erkennbare Absicht, die ein Prüfschritt dann bewerten kann. Es ist ein Forschungsmodell von 2025 mit eigenem Readme, also behandle es als ein Signal neben einem eigenen Guardrail.
Bevor du dich festlegst
- Einrichtung
- pip install llmlingua zieht torch und transformers nach; der erste PromptCompressor-Aufruf lädt das gewählte Modell von Hugging Face, beim Standard-Llama 2 mehrere GB.
- Integrationen
- LangChain-Retriever, LlamaIndex-Node-Postprocessor, ein Tool für Microsoft Prompt flow und direkte Python-Aufrufe (compress_prompt, structured_compress_prompt).
- Daten und Datenschutz
- Läuft nach dem Herunterladen der Modelle vollständig lokal; nichts wird an Microsoft gesendet. Die Werte 20x und 21,4 % stammen aus den Papers der Autoren.
- Kosten im großen Maßstab
- Keine Lizenzkosten. Die echten Kosten sind die Inferenz des Kompressors: eine GPU für das 7B-Standardmodell oder CPU-Zeit für die 177M- oder 559M-Encoder von LLMLingua-2.
- Grenzen
- Letztes Release 0.2.2 im April 2024; 101 offene Issues; Ersparnis in OpenAI-Tokens gezählt; verlustbehaftete Ausgabe ungeeignet für Code, exakte Zahlen oder Vertragstext.
Was gut ist
- Drei begutachtete Methoden in einem pip-Paket
- LLMLingua-2 läuft mit einem 177M- oder 559M-Encoder, CPU-tauglich
- Steuerung pro Abschnitt, was komprimiert wird
- Fertige Integrationen für LangChain und LlamaIndex
Was nicht
- Die 20x der Schlagzeile sind der beste Fall der Autoren
- Standardmodell ist ein 7B-Llama 2 auf der GPU
- Verlustbehaftete Ausgabe kann Zahlen und Namen verstümmeln
- Kein PyPI-Release seit April 2024
Am besten für
RAG- und Transkript-Pipelines, in denen langer, paraphrasentoleranter Kontext die Token-Rechnung dominiert und jemand die Antwortqualität vorher und nachher testen kann.
Alternativen zu LLMLingua
LLMLingua: häufige Fragen
- Lohnt sich LLMLingua?
- Eine glaubwürdige Forschungsmethode, um lange RAG-Prompts zu kürzen, aber die 20x sind der beste Fall des Papers, und das Paket hat seit April 2024 kein Release mehr veröffentlicht. Wir bewerten es mit 3.7 von 5.
- Was kostet LLMLingua?
- Kostenlos und Open Source unter MIT. Du bezahlst die GPU- oder CPU-Zeit des lokalen Kompressormodells.
- Welche Nachteile hat LLMLingua?
- Die 20x der Schlagzeile sind der beste Fall der Autoren; Standardmodell ist ein 7B-Llama 2 auf der GPU; Verlustbehaftete Ausgabe kann Zahlen und Namen verstümmeln; Kein PyPI-Release seit April 2024.
- Für wen eignet sich LLMLingua?
- RAG- und Transkript-Pipelines, in denen langer, paraphrasentoleranter Kontext die Token-Rechnung dominiert und jemand die Antwortqualität vorher und nachher testen kann.
- Was kostet LLMLingua für ein Team oder im Produktivbetrieb?
- Keine Lizenzkosten. Die echten Kosten sind die Inferenz des Kompressors: eine GPU für das 7B-Standardmodell oder CPU-Zeit für die 177M- oder 559M-Encoder von LLMLingua-2.
- Ist LLMLingua sicher für Firmendaten?
- Läuft nach dem Herunterladen der Modelle vollständig lokal; nichts wird an Microsoft gesendet. Die Werte 20x und 21,4 % stammen aus den Papers der Autoren.
- Was sind die besten Alternativen zu LLMLingua?
- Die nächsten Alternativen, die wir getestet haben, sind Headroom, LlamaIndex und Caveman.
Antworten geprüft am 20. Nov. 2026.