LLMLinguaとは?
LLMLinguaは、大きなモデルに送る前にプロンプトを短くします。小さな言語モデルが各トークンを採点し、ライブラリは情報量が最も少ないと判断したものを捨てます。結果は簡潔で文法的に崩れることも多いプロンプトですが、大きなモデルはそれでも読めます。パッケージには公開済みの3つの手法が入っています。LLMLingua(EMNLP 2023)、RAG向けに取得した文章をユーザーの質問に沿って順位付けし並べ替えるLongLLMLingua(ACL 2024)、そしてGPT-4のラベルから蒸留したトークン分類器で、著者によれば元の手法より3x〜6x速いLLMLingua-2(ACL 2024 Findings)です。4つ目のモデルSecurityLinguaは、同じ考え方をジェイルブレイクのプロンプト検出に使います。
ローカルで動くモデルは手法によって異なります。既定のPromptCompressorは、67億パラメータ(6.7B)のNousResearch/Llama-2-7b-hfをCUDA GPUに読み込みます。READMEでは、microsoft/phi-2や、8 GB未満のGPUメモリに収まるGPTQ量子化版のLlama 2も選べます。LLMLingua-2はこれをエンコーダーに置き換えます。microsoft/llmlingua-2-xlm-roberta-large-meetingbank(約5億5,900万パラメータ、559M)か、多言語BERT-base版(約1億7,700万、177M)で、CPUでも動く大きさです。
ライセンスはMITで、pip install llmlinguaでインストールでき、LangChain、LlamaIndex、MicrosoftのPrompt flowに統合されています。
LLMLinguaは使う価値があるか?
LLMLinguaは、現実の請求書に対する最もよく知られた学術的な答えです。取得した文書や長い文字起こしは、送る費用が回答の価値を上回ることがあります。READMEの「最大20xの圧縮で性能低下は最小限」は、推論と文脈内学習のベンチマークに関する2023年の論文での著者自身の結果であり、独立した測定ではありません。README自身の例では、2,365トークンの数学のプロンプトを211トークンに圧縮しており、比率は11.2xです。LongLLMLinguaの主な主張はより限定的で、RAGにはより役立ちます。トークンを4分の1にしながら回答が最大21.4%改善するというもので、これも著者のベンチマークでの結果です。
圧縮されたテキストは情報が欠け、見た目にもそれがわかります。READMEの例では"highlighter pens"が"ilters"になり、数字がくっついています。大きなモデルはたいてい対応できますが、正確な数値、名前、コード、法的な文言に依存する部分は圧縮の対象から外すべきです。ライブラリではcompress=Falseタグでセクションを指定したり、改行や疑問符などのトークンを必ず残したりできます。この手間が、役に立つ導入と、気づかないうちに品質が落ちる導入を分けます。
隠れたコストは圧縮器そのものです。既定の経路では呼び出しごとに7BのLlama 2をGPUに載せるため、安価なAPIモデルで節約する額より、遅延とハードウェアのコストの方が大きくなることがあります。5億5,900万パラメータ(559M)のXLM-RoBERTaモデルを使うLLMLingua-2から始めるのが妥当です。比率はOpenAIのトークンで示されています。ライブラリがtiktokenのgpt-3.5-turboエンコーディン グで数えるためで、ClaudeやGeminiでの節約は異なります。
注意点:保守はほとんど止まりかけています。PyPIの最新リリース0.2.2は2024年4月9日のもので、2026年のコミットはこれまでのところGitHub Actionsの固定だけです。未解決のissueは101件あります。動きはしますが、採用するのは研究用コードであって、サポートのある製品ではありません。
結論:圧縮が効果を発揮するのは、会議の文字起こしや大量の取得文章のように、プロンプトが長く、繰り返しが多く、言い換えに耐えられる場合です。短いエージェント用プロンプトなら、モデル提供者のprompt cachingの方が安上がりな最初の一手です。
真価を発揮する場面
社内規程文書を対象にRAGアシスタントを運用するMLエンジニア
回答の品質を落とさずに、取得した文章に使う入力トークンを減らしたい
LongLLMLinguaをLlamaIndexのnode postprocessorとしてrateを0.5前後で追加し、ユーザーの質問と引用は圧縮しないでおきます。実際の質問100件で導入前後の回答精度を測ります。論文の4xは上限であり、約束ではありません。
1時間の営業通話を要約するプロダクトチーム
文字起こし全文を、より安いモデルのコンテキストウィンドウに収めたい
多言語BERT-baseモデルでLLMLingua-2をCPU上で動かし、rate 0.33で文字起こしを圧縮し、force_tokensで話者ラベルを残します。圧縮器のモデル呼び出しが文字起こしごとに1回増えますが、APIの費用はかかりません。
公開チャットボットを持つ企業のセキュリティエンジニア
ジェイルブレイクの試みを、メインのモデルに届く前に検出したい
SecurityLinguaは受け取ったプロンプトを見かけ上の意図まで圧縮し、それを検査ステップで確認できます。独自のreadmeがある2025年の研究用モデルなので、専用のガードレールと並ぶ判断材料の1つとして扱ってください。
導入前に確認すること
- 導入
- pip install llmlinguaでtorchとtransformersも入ります。PromptCompressorを最初に呼ぶと、選んだモデルがHugging Faceからダウンロードされます。既定のLlama 2なら数GBです。
- 連携
- LangChainのretriever、LlamaIndexのnode postprocessor、Microsoft Prompt flowのツール、Pythonからの直接呼び出し(compress_prompt、structured_compress_prompt)。
- データとプライバシー
- モデルをダウンロードした後は完全にローカルで動き、Microsoftには何も送られません。20xと21.4%の数字は著者の論文によるものです。
- 大規模利用時のコスト
- ライセンス費用はありません。実際の費用は圧縮器の推論で、既定の7BならGPU、LLMLingua-2の177Mまたは559MのエンコーダーならCPU時間です。
- 制限
- 最新リリースは2024年4月の0.2.2、未解決issueは101件、節約量はOpenAIのトークンで計算、情報が欠ける出力はコード、正確な数値、契約文には不向きです。
良い点
- 査読済みの3つの手法が1つのpipパッケージに
- LLMLingua-2は177Mまたは559MのエンコーダーでCPUでも動く
- 圧縮する範囲をセクションごとに制御できる
- LangChainとLlamaIndex向けの統合が用意済み
気になる点
- 見出しの20xは著者による最良のケース
- 既定モデルはGPU上の7BのLlama 2
- 情報が欠ける出力で数字や名前が崩れることがある
- 2024年4月以降PyPIのリリースがない
おすすめの人
長く言い換えに耐える文脈がトークン費用の大半を占め、導入前後で回答の品質を誰かが検証できるRAGや文字起こしのパイプライン。
LLMLinguaの代替
LLMLingua:よくある質問
- LLMLinguaは使う価値があるか?
- 長いRAGプロンプトを削るための信頼できる研究手法ですが、20xは論文での最良のケースで、パッケージは2024年4月以来リリースがありません。 評価は5点満点中3.7点です。
- LLMLinguaの料金は?
- MITライセンスの無料オープンソースです。費用はローカルの圧縮モデルのGPUまたはCPU時間です。
- LLMLinguaの欠点は?
- 見出しの20xは著者による最良のケース; 既定モデルはGPU上の7BのLlama 2; 情報が欠ける出力で数字や名前が崩れることがある; 2024年4月以降PyPIのリリースがない.
- LLMLinguaは誰に向いているか?
- 長く言い換えに耐える文脈がトークン費用の大半を占め、導入前後で回答の品質を誰かが検証できるRAGや文字起こしのパイプライン。
- チームや本番環境でLLMLinguaを使うと費用はいくらか?
- ライセンス費用はありません。実際の費用は圧縮器の推論で、既定の7BならGPU、LLMLingua-2の177Mまたは559MのエンコーダーならCPU時間です。
- LLMLinguaは企業データを扱っても安全か?
- モデルをダウンロードした後は完全にローカルで動き、Microsoftには何も送られません。20xと21.4%の数字は著者の論文によるものです。
- LLMLinguaの代わりになるものは?
- 当サイトでレビューした中で最も近い代替はHeadroom, LlamaIndex 、 Cavemanです。
回答確認日:2026年11月20日