Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

LLMLingua

O compressor de prompts da Microsoft Research: um modelo local pequeno apaga tokens de pouco valor antes de o prompt chegar ao modelo pago.

Análise de ReviewRamble editors · Atualizado

Ver no GitHub Código aberto

Compartilhe esta página:XLinkedInFacebookRedditWhatsAppE-mail

Nossa nota

3.7/5

Um método de pesquisa confiável para cortar prompts longos de RAG, mas o 20x é o melhor caso do artigo e o pacote não lança versão desde abril de 2024.

O que é LLMLingua?

O LLMLingua encurta prompts antes de enviá-los a um modelo grande. Um modelo de linguagem menor pontua cada token e a biblioteca descarta os que considera menos informativos, então o resultado é um prompt enxuto, muitas vezes agramatical, que o modelo grande ainda consegue ler. O pacote reúne três métodos publicados: LLMLingua (EMNLP 2023), LongLLMLingua (ACL 2024), que classifica e reordena as passagens recuperadas em torno da pergunta do usuário para RAG, e LLMLingua-2 (ACL 2024 Findings), um classificador de tokens destilado de rótulos do GPT-4 que, segundo os autores, roda de 3x a 6x mais rápido que o original. Um quarto modelo, SecurityLingua, aplica a mesma ideia para detectar prompts de jailbreak.

Qual modelo roda localmente depende do método. O PromptCompressor padrão carrega o NousResearch/Llama-2-7b-hf, um modelo de 6,7 bilhões de parâmetros, em uma GPU CUDA; o README oferece o microsoft/phi-2 ou um Llama 2 quantizado com GPTQ que cabe em menos de 8 GB de memória de GPU. O LLMLingua-2 troca isso por um encoder: microsoft/llmlingua-2-xlm-roberta-large-meetingbank (cerca de 559 milhões de parâmetros) ou uma versão multilíngue BERT-base (cerca de 177 milhões), pequena o bastante para CPU.

Tem licença MIT, instala com pip install llmlingua e tem integrações no LangChain, no LlamaIndex e no Prompt flow da Microsoft.

LLMLingua vale a pena?

O LLMLingua é a resposta acadêmica mais conhecida para uma conta real: documentos recuperados e transcrições longas que custam mais para enviar do que a resposta vale. O "até 20x de compressão com perda mínima de desempenho" do README é o resultado dos próprios autores no artigo de 2023, em benchmarks de raciocínio e aprendizado em contexto, não uma medição independente, e o exemplo do próprio README comprime um prompt de matemática de 2,365 tokens para 211 tokens, uma razão de 11.2x. A afirmação principal do LongLLMLingua é mais estreita e mais útil para RAG: respostas até 21.4% melhores usando um quarto dos tokens, de novo nos benchmarks dos autores.

O texto comprimido perde informação, e isso aparece. No exemplo do README, "highlighter pens" vira "ilters" e números se fundem; o modelo grande geralmente dá conta, mas tudo o que depende de números exatos, nomes, código ou redação jurídica deve ficar fora da compressão. A biblioteca permite marcar seções com tags compress=False, ou forçar a preservação de tokens como quebras de linha e pontos de interrogação, e esse cuidado é o que separa uma implantação útil de uma que piora em silêncio.

O custo escondido é o próprio compressor. O caminho padrão carrega um Llama 2 de 7B em uma GPU a cada chamada, o que pode custar mais em latência e hardware do que economiza em um modelo de API barato. O LLMLingua-2 com o modelo XLM-RoBERTa de 559 milhões de parâmetros é o ponto de partida sensato. As razões são medidas em tokens da OpenAI, porque a biblioteca conta com a codificação gpt-3.5-turbo do tiktoken, então a economia em Claude ou Gemini será diferente.

O porém: a manutenção virou um gotejamento. A última versão no PyPI, 0.2.2, é de 9 de abril de 2024; os commits de 2026 até agora só fixam GitHub Actions, e há 101 issues abertas. Funciona, mas você está adotando código de pesquisa, não um produto com suporte.

Nossa opinião: compressão compensa onde os prompts são longos, repetitivos e tolerantes a paráfrase, como transcrições de reuniões e pilhas de passagens recuperadas. Para prompts curtos de agente, o prompt caching do provedor do modelo é o primeiro passo mais barato.

Onde ele se destaca

  • Um engenheiro de ML que opera um assistente RAG sobre documentos de políticas internas

    Cortar os tokens de entrada gastos com passagens recuperadas sem perder qualidade de resposta

    Adicione o LongLLMLingua como node postprocessor do LlamaIndex com rate perto de 0.5 e mantenha sem compressão a pergunta do usuário e as citações. Meça a precisão das respostas em 100 perguntas reais antes e depois; o 4x do artigo é um teto, não uma promessa.

  • Um time de produto que resume ligações de vendas de uma hora

    Fazer transcrições completas caberem na janela de contexto de um modelo mais barato

    Rode o LLMLingua-2 com o modelo multilíngue BERT-base em CPU sobre a transcrição com rate 0.33, preservando os rótulos de falante com force_tokens. O compressor adiciona uma chamada de modelo por transcrição, mas nenhum gasto de API.

  • Um engenheiro de segurança em uma empresa com chatbot público

    Sinalizar tentativas de jailbreak antes que cheguem ao modelo principal

    O SecurityLingua comprime um prompt de entrada até sua intenção aparente, que uma etapa de verificação pode então checar. É um modelo de pesquisa de 2025 com readme próprio, então trate-o como um sinal ao lado de um guardrail dedicado.

Antes de decidir

Configuração
pip install llmlingua instala torch e transformers; a primeira chamada ao PromptCompressor baixa o modelo escolhido do Hugging Face, vários GB no caso do Llama 2 padrão.
Integrações
Retriever do LangChain, node postprocessor do LlamaIndex, ferramenta do Microsoft Prompt flow e chamadas Python diretas (compress_prompt, structured_compress_prompt).
Dados e privacidade
Roda totalmente local depois que os modelos são baixados; nada é enviado à Microsoft. Os números de 20x e 21.4% vêm dos artigos dos autores.
Custo em escala
Sem custo de licença. O custo real é a inferência do compressor: uma GPU para o 7B padrão, ou tempo de CPU para os encoders de 177M ou 559M do LLMLingua-2.
Limites
Última versão 0.2.2 em abril de 2024; 101 issues abertas; economia contada em tokens da OpenAI; saída com perda inadequada para código, números exatos ou texto contratual.

O que é bom

  • Três métodos revisados por pares em um só pacote pip
  • LLMLingua-2 roda com um encoder de 177M ou 559M, viável em CPU
  • Controle por seção do que é comprimido
  • Integrações prontas para LangChain e LlamaIndex

O que não é

  • O 20x da manchete é o melhor caso dos autores
  • O modelo padrão é um Llama 2 de 7B em GPU
  • A saída com perda pode estragar números e nomes
  • Sem versão no PyPI desde abril de 2024

Ideal para

Pipelines de RAG e de transcrições em que contexto longo e tolerante a paráfrase domina a conta de tokens e alguém pode testar a qualidade das respostas antes e depois.

Alternativas ao LLMLingua

LLMLingua: perguntas frequentes

LLMLingua vale a pena?
Um método de pesquisa confiável para cortar prompts longos de RAG, mas o 20x é o melhor caso do artigo e o pacote não lança versão desde abril de 2024. Damos nota 3.7 de 5.
Quanto custa LLMLingua?
Gratuito e open source sob MIT. Você paga o tempo de GPU ou CPU do modelo compressor local.
Quais são as desvantagens de LLMLingua?
O 20x da manchete é o melhor caso dos autores; o modelo padrão é um Llama 2 de 7B em GPU; a saída com perda pode estragar números e nomes; sem versão no PyPI desde abril de 2024.
Para quem LLMLingua é indicado?
Pipelines de RAG e de transcrições em que contexto longo e tolerante a paráfrase domina a conta de tokens e alguém pode testar a qualidade das respostas antes e depois.
Quanto custa LLMLingua para uma equipe ou em produção?
Sem custo de licença. O custo real é a inferência do compressor: uma GPU para o 7B padrão, ou tempo de CPU para os encoders de 177M ou 559M do LLMLingua-2.
LLMLingua é seguro para dados da empresa?
Roda totalmente local depois que os modelos são baixados; nada é enviado à Microsoft. Os números de 20x e 21.4% vêm dos artigos dos autores.
Quais são as melhores alternativas ao LLMLingua?
As alternativas mais próximas que analisamos são Headroom, LlamaIndex e Caveman.

Respostas verificadas em 20 de nov. de 2026.