本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

LLMLingua

Microsoft Researchのプロンプト圧縮ツールです。小さなローカルモデルが、プロンプトが有料モデルに届く前に価値の低いトークンを削ります。

レビュー: ReviewRamble editors · 更新

GitHubで見る オープンソース

このページを共有:XLinkedInFacebookRedditWhatsAppメール

当サイトの評価

3.7/5

長いRAGプロンプトを削るための信頼できる研究手法ですが、20xは論文での最良のケースで、パッケージは2024年4月以来リリースがありません。

LLMLinguaとは?

LLMLinguaは、大きなモデルに送る前にプロンプトを短くします。小さな言語モデルが各トークンを採点し、ライブラリは情報量が最も少ないと判断したものを捨てます。結果は簡潔で文法的に崩れることも多いプロンプトですが、大きなモデルはそれでも読めます。パッケージには公開済みの3つの手法が入っています。LLMLingua(EMNLP 2023)、RAG向けに取得した文章をユーザーの質問に沿って順位付けし並べ替えるLongLLMLingua(ACL 2024)、そしてGPT-4のラベルから蒸留したトークン分類器で、著者によれば元の手法より3x〜6x速いLLMLingua-2(ACL 2024 Findings)です。4つ目のモデルSecurityLinguaは、同じ考え方をジェイルブレイクのプロンプト検出に使います。

ローカルで動くモデルは手法によって異なります。既定のPromptCompressorは、67億パラメータ(6.7B)のNousResearch/Llama-2-7b-hfをCUDA GPUに読み込みます。READMEでは、microsoft/phi-2や、8 GB未満のGPUメモリに収まるGPTQ量子化版のLlama 2も選べます。LLMLingua-2はこれをエンコーダーに置き換えます。microsoft/llmlingua-2-xlm-roberta-large-meetingbank(約5億5,900万パラメータ、559M)か、多言語BERT-base版(約1億7,700万、177M)で、CPUでも動く大きさです。

ライセンスはMITで、pip install llmlinguaでインストールでき、LangChain、LlamaIndex、MicrosoftのPrompt flowに統合されています。

LLMLinguaは使う価値があるか?

LLMLinguaは、現実の請求書に対する最もよく知られた学術的な答えです。取得した文書や長い文字起こしは、送る費用が回答の価値を上回ることがあります。READMEの「最大20xの圧縮で性能低下は最小限」は、推論と文脈内学習のベンチマークに関する2023年の論文での著者自身の結果であり、独立した測定ではありません。README自身の例では、2,365トークンの数学のプロンプトを211トークンに圧縮しており、比率は11.2xです。LongLLMLinguaの主な主張はより限定的で、RAGにはより役立ちます。トークンを4分の1にしながら回答が最大21.4%改善するというもので、これも著者のベンチマークでの結果です。

圧縮されたテキストは情報が欠け、見た目にもそれがわかります。READMEの例では"highlighter pens"が"ilters"になり、数字がくっついています。大きなモデルはたいてい対応できますが、正確な数値、名前、コード、法的な文言に依存する部分は圧縮の対象から外すべきです。ライブラリではcompress=Falseタグでセクションを指定したり、改行や疑問符などのトークンを必ず残したりできます。この手間が、役に立つ導入と、気づかないうちに品質が落ちる導入を分けます。

隠れたコストは圧縮器そのものです。既定の経路では呼び出しごとに7BのLlama 2をGPUに載せるため、安価なAPIモデルで節約する額より、遅延とハードウェアのコストの方が大きくなることがあります。5億5,900万パラメータ(559M)のXLM-RoBERTaモデルを使うLLMLingua-2から始めるのが妥当です。比率はOpenAIのトークンで示されています。ライブラリがtiktokenのgpt-3.5-turboエンコーディングで数えるためで、ClaudeやGeminiでの節約は異なります。

注意点:保守はほとんど止まりかけています。PyPIの最新リリース0.2.2は2024年4月9日のもので、2026年のコミットはこれまでのところGitHub Actionsの固定だけです。未解決のissueは101件あります。動きはしますが、採用するのは研究用コードであって、サポートのある製品ではありません。

結論:圧縮が効果を発揮するのは、会議の文字起こしや大量の取得文章のように、プロンプトが長く、繰り返しが多く、言い換えに耐えられる場合です。短いエージェント用プロンプトなら、モデル提供者のprompt cachingの方が安上がりな最初の一手です。

真価を発揮する場面

  • 社内規程文書を対象にRAGアシスタントを運用するMLエンジニア

    回答の品質を落とさずに、取得した文章に使う入力トークンを減らしたい

    LongLLMLinguaをLlamaIndexのnode postprocessorとしてrateを0.5前後で追加し、ユーザーの質問と引用は圧縮しないでおきます。実際の質問100件で導入前後の回答精度を測ります。論文の4xは上限であり、約束ではありません。

  • 1時間の営業通話を要約するプロダクトチーム

    文字起こし全文を、より安いモデルのコンテキストウィンドウに収めたい

    多言語BERT-baseモデルでLLMLingua-2をCPU上で動かし、rate 0.33で文字起こしを圧縮し、force_tokensで話者ラベルを残します。圧縮器のモデル呼び出しが文字起こしごとに1回増えますが、APIの費用はかかりません。

  • 公開チャットボットを持つ企業のセキュリティエンジニア

    ジェイルブレイクの試みを、メインのモデルに届く前に検出したい

    SecurityLinguaは受け取ったプロンプトを見かけ上の意図まで圧縮し、それを検査ステップで確認できます。独自のreadmeがある2025年の研究用モデルなので、専用のガードレールと並ぶ判断材料の1つとして扱ってください。

導入前に確認すること

導入
pip install llmlinguaでtorchとtransformersも入ります。PromptCompressorを最初に呼ぶと、選んだモデルがHugging Faceからダウンロードされます。既定のLlama 2なら数GBです。
連携
LangChainのretriever、LlamaIndexのnode postprocessor、Microsoft Prompt flowのツール、Pythonからの直接呼び出し(compress_prompt、structured_compress_prompt)。
データとプライバシー
モデルをダウンロードした後は完全にローカルで動き、Microsoftには何も送られません。20xと21.4%の数字は著者の論文によるものです。
大規模利用時のコスト
ライセンス費用はありません。実際の費用は圧縮器の推論で、既定の7BならGPU、LLMLingua-2の177Mまたは559MのエンコーダーならCPU時間です。
制限
最新リリースは2024年4月の0.2.2、未解決issueは101件、節約量はOpenAIのトークンで計算、情報が欠ける出力はコード、正確な数値、契約文には不向きです。

良い点

  • 査読済みの3つの手法が1つのpipパッケージに
  • LLMLingua-2は177Mまたは559MのエンコーダーでCPUでも動く
  • 圧縮する範囲をセクションごとに制御できる
  • LangChainとLlamaIndex向けの統合が用意済み

気になる点

  • 見出しの20xは著者による最良のケース
  • 既定モデルはGPU上の7BのLlama 2
  • 情報が欠ける出力で数字や名前が崩れることがある
  • 2024年4月以降PyPIのリリースがない

おすすめの人

長く言い換えに耐える文脈がトークン費用の大半を占め、導入前後で回答の品質を誰かが検証できるRAGや文字起こしのパイプライン。

LLMLinguaの代替

LLMLingua:よくある質問

LLMLinguaは使う価値があるか?
長いRAGプロンプトを削るための信頼できる研究手法ですが、20xは論文での最良のケースで、パッケージは2024年4月以来リリースがありません。 評価は5点満点中3.7点です。
LLMLinguaの料金は?
MITライセンスの無料オープンソースです。費用はローカルの圧縮モデルのGPUまたはCPU時間です。
LLMLinguaの欠点は?
見出しの20xは著者による最良のケース; 既定モデルはGPU上の7BのLlama 2; 情報が欠ける出力で数字や名前が崩れることがある; 2024年4月以降PyPIのリリースがない.
LLMLinguaは誰に向いているか?
長く言い換えに耐える文脈がトークン費用の大半を占め、導入前後で回答の品質を誰かが検証できるRAGや文字起こしのパイプライン。
チームや本番環境でLLMLinguaを使うと費用はいくらか?
ライセンス費用はありません。実際の費用は圧縮器の推論で、既定の7BならGPU、LLMLingua-2の177Mまたは559MのエンコーダーならCPU時間です。
LLMLinguaは企業データを扱っても安全か?
モデルをダウンロードした後は完全にローカルで動き、Microsoftには何も送られません。20xと21.4%の数字は著者の論文によるものです。
LLMLinguaの代わりになるものは?
当サイトでレビューした中で最も近い代替はHeadroom, LlamaIndex 、 Cavemanです。

回答確認日:2026年11月20日