O que é LLMLingua?
O LLMLingua encurta prompts antes de enviá-los a um modelo grande. Um modelo de linguagem menor pontua cada token e a biblioteca descarta os que considera menos informativos, então o resultado é um prompt enxuto, muitas vezes agramatical, que o modelo grande ainda consegue ler. O pacote reúne três métodos publicados: LLMLingua (EMNLP 2023), LongLLMLingua (ACL 2024), que classifica e reordena as passagens recuperadas em torno da pergunta do usuário para RAG, e LLMLingua-2 (ACL 2024 Findings), um classificador de tokens destilado de rótulos do GPT-4 que, segundo os autores, roda de 3x a 6x mais rápido que o original. Um quarto modelo, SecurityLingua, aplica a mesma ideia para detectar prompts de jailbreak.
Qual modelo roda localmente depende do método. O PromptCompressor padrão carrega o NousResearch/Llama-2-7b-hf, um modelo de 6,7 bilhões de parâmetros, em uma GPU CUDA; o README oferece o microsoft/phi-2 ou um Llama 2 quantizado com GPTQ que cabe em menos de 8 GB de memória de GPU. O LLMLingua-2 troca isso por um encoder: microsoft/llmlingua-2-xlm-roberta-large-meetingbank (cerca de 559 milhões de parâmetros) ou uma versão multilíngue BERT-base (cerca de 177 milhões), pequena o bastante para CPU.
Tem licença MIT, instala com pip install llmlingua e tem integrações no LangChain, no LlamaIndex e no Prompt flow da Microsoft.
LLMLingua vale a pena?
O LLMLingua é a resposta acadêmica mais conhecida para uma conta real: documentos recuperados e transcrições longas que custam mais para enviar do que a resposta vale. O "até 20x de compressão com perda mínima de desempenho" do README é o resultado dos próprios autores no artigo de 2023, em benchmarks de raciocínio e aprendizado em contexto, não uma medição independente, e o exemplo do próprio README comprime um prompt de matemática de 2,365 tokens para 211 tokens, uma razão de 11.2x. A afirmação principal do LongLLMLingua é mais estreita e mais útil para RAG: respostas até 21.4% melhores usando um quarto dos tokens, de novo nos benchmarks dos autores.
O texto comprimido perde informação, e isso aparece. No exemplo do README, "highlighter pens" vira "ilters" e números se fundem; o modelo grande geralmente dá conta, mas tudo o que depende de números exatos, nomes, código ou redação jurídica deve ficar fora da compressão. A biblioteca permite marcar seções com tags compress=False, ou forçar a preservação de tokens como quebras de linha e pontos de interrogação, e esse cuidado é o que separa uma implantação útil de uma que piora em silêncio.
O custo escondido é o próprio compressor. O caminho padrão carrega um Llama 2 de 7B em uma GPU a cada chamada, o que pode custar mais em latência e hardware do que economiza em um modelo de API barato. O LLMLingua-2 com o modelo XLM-RoBERTa de 559 milhões de parâmetros é o ponto de partida sensato. As razões são medidas em tokens da OpenAI, porque a biblioteca conta com a codificação gpt-3.5-turbo do tiktoken, então a economia em Claude ou Gemini será diferente.
O porém: a manutenção virou um gotejamento. A última versão no PyPI, 0.2.2, é de 9 de abril de 2024; os commits de 2026 até agora só fixam GitHub Actions, e há 101 issues abertas. Funciona, mas você está adotando código de pesquisa, não um produto com suporte.
Nossa opinião: compressão compensa onde os prompts são longos, repetitivos e tolerantes a paráfrase, como transcrições de reuniões e pilhas de passagens recuperadas. Para prompts curtos de agente, o prompt caching do provedor do modelo é o primeiro passo mais barato.
Onde ele se destaca
Um engenheiro de ML que opera um assistente RAG sobre documentos de políticas internas
Cortar os tokens de entrada gastos com passagens recuperadas sem perder qualidade de resposta
Adicione o LongLLMLingua como node postprocessor do LlamaIndex com rate perto de 0.5 e mantenha sem compressão a pergunta do usuário e as citações. Meça a precisão das respostas em 100 perguntas reais antes e depois; o 4x do artigo é um teto, não uma promessa.
Um time de produto que resume ligações de vendas de uma hora
Fazer transcrições completas caberem na janela de contexto de um modelo mais barato
Rode o LLMLingua-2 com o modelo multilíngue BERT-base em CPU sobre a transcrição com rate 0.33, preservando os rótulos de falante com force_tokens. O compressor adiciona uma chamada de modelo por transcrição, mas nenhum gasto de API.
Um engenheiro de segurança em uma empresa com chatbot público
Sinalizar tentativas de jailbreak antes que cheguem ao modelo principal
O SecurityLingua comprime um prompt de entrada até sua intenção aparente, que uma etapa de verificação pode então checar. É um modelo de pesquisa de 2025 com readme próprio, então trate-o como um sinal ao lado de um guardrail dedicado.
Antes de decidir
- Configuração
- pip install llmlingua instala torch e transformers; a primeira chamada ao PromptCompressor baixa o modelo escolhido do Hugging Face, vários GB no caso do Llama 2 padrão.
- Integrações
- Retriever do LangChain, node postprocessor do LlamaIndex, ferramenta do Microsoft Prompt flow e chamadas Python diretas (compress_prompt, structured_compress_prompt).
- Dados e privacidade
- Roda totalmente local depois que os modelos são baixados; nada é enviado à Microsoft. Os números de 20x e 21.4% vêm dos artigos dos autores.
- Custo em escala
- Sem custo de licença. O custo real é a inferência do compressor: uma GPU para o 7B padrão, ou tempo de CPU para os encoders de 177M ou 559M do LLMLingua-2.
- Limites
- Última versão 0.2.2 em abril de 2024; 101 issues abertas; economia contada em tokens da OpenAI; saída com perda inadequada para código, números exatos ou texto contratual.
O que é bom
- Três métodos revisados por pares em um só pacote pip
- LLMLingua-2 roda com um encoder de 177M ou 559M, viável em CPU
- Controle por seção do que é comprimido
- Integrações prontas para LangChain e LlamaIndex
O que não é
- O 20x da manchete é o melhor caso dos autores
- O modelo padrão é um Llama 2 de 7B em GPU
- A saída com perda pode estragar números e nomes
- Sem versão no PyPI desde abril de 2024
Ideal para
Pipelines de RAG e de transcrições em que contexto longo e tolerante a paráfrase domina a conta de tokens e alguém pode testar a qualidade das respostas antes e depois.
Alternativas ao LLMLingua
LLMLingua: perguntas frequentes
- LLMLingua vale a pena?
- Um método de pesquisa confiável para cortar prompts longos de RAG, mas o 20x é o melhor caso do artigo e o pacote não lança versão desde abril de 2024. Damos nota 3.7 de 5.
- Quanto custa LLMLingua?
- Gratuito e open source sob MIT. Você paga o tempo de GPU ou CPU do modelo compressor local.
- Quais são as desvantagens de LLMLingua?
- O 20x da manchete é o melhor caso dos autores; o modelo padrão é um Llama 2 de 7B em GPU; a saída com perda pode estragar números e nomes; sem versão no PyPI desde abril de 2024.
- Para quem LLMLingua é indicado?
- Pipelines de RAG e de transcrições em que contexto longo e tolerante a paráfrase domina a conta de tokens e alguém pode testar a qualidade das respostas antes e depois.
- Quanto custa LLMLingua para uma equipe ou em produção?
- Sem custo de licença. O custo real é a inferência do compressor: uma GPU para o 7B padrão, ou tempo de CPU para os encoders de 177M ou 559M do LLMLingua-2.
- LLMLingua é seguro para dados da empresa?
- Roda totalmente local depois que os modelos são baixados; nada é enviado à Microsoft. Os números de 20x e 21.4% vêm dos artigos dos autores.
- Quais são as melhores alternativas ao LLMLingua?
- As alternativas mais próximas que analisamos são Headroom, LlamaIndex e Caveman.
Respostas verificadas em 20 de nov. de 2026.