¿Qué es LLMLingua?
LLMLingua acorta los prompts antes de enviarlos a un modelo grande. Un modelo de lenguaje más pequeño puntúa cada token y la librería descarta los que considera menos informativos, así que el resultado es un prompt escueto, a menudo agramatical, que el modelo grande aún puede leer. El paquete reúne tres métodos publicados: LLMLingua (EMNLP 2023), LongLLMLingua (ACL 2024), que ordena y reordena los pasajes recuperados en torno a la pregunta del usuario para RAG, y LLMLingua-2 (ACL 2024 Findings), un clasificador de tokens destilado a partir de etiquetas de GPT-4 que, según los autores, funciona entre 3x y 6x más rápido que el original. Un cuarto modelo, SecurityLingua, aplica la misma idea a detectar prompts de jailbreak.
Qué modelo se ejecuta en local depende del método. El PromptCompressor por defecto carga NousResearch/Llama-2-7b-hf, un modelo de 6.700 millones de parámetros, en una GPU CUDA; el README ofrece microsoft/phi-2 o un Llama 2 cuantizado con GPTQ que cabe en menos de 8 GB de memoria de GPU. LLMLingua-2 lo sustituye por un codificador: microsoft/llmlingua-2-xlm-roberta-large-meetingbank (unos 559 millones de parámetros) o una versión multilingüe BERT-base (unos 177 millones), lo bastante pequeña para CPU.
Tiene licencia MIT, se instala con pip install llmlingua y cuenta con integraciones en LangChain, LlamaIndex y Prompt flow de Microsoft.
¿Merece la pena LLMLingua?
LLMLingua es la respuesta académica más conocida a una factura real: documentos recuperados y transcripciones largas que cuesta más enviar de lo que vale la respuesta. El "hasta 20x de compresión con una pérdida mínima de rendimiento" del README es el resultado de los propios autores en el artículo de 2023 sobre benchmarks de razonamiento y aprendizaje en contexto, no una medición independiente, y el ejemplo del propio README comprime un prompt de matemáticas de 2,365 tokens a 211 tokens, una relación de 11.2x. La afirmación principal de LongLLMLingua es más estrecha y más útil para RAG: hasta un 21.4% mejores respuestas usando una cuarta parte de los tokens, de nuevo en los benchmarks de los autores.
El texto comprimido pierde información y se nota. En el ejemplo del README, "highlighter pens" se convierte en "ilters" y los números se funden; el modelo grande suele arreglárselas, pero todo lo que dependa de cifras exactas, nombres, código o redacción legal debe quedar fuera de la compresión. La librería permite marcar secciones con etiquetas compress=False, o forzar que sobrevivan tokens como saltos de línea y signos de interrogación, y ese cuidado es lo que separa un despliegue útil de uno que empeora sin avisar.
El coste oculto es el propio compresor. La ruta por defecto carga un Llama 2 de 7B en una GPU en cada llamada, lo que puede costar más en latencia y hardware de lo que ahorra en un modelo de API barato. LLMLingua-2 con el modelo XLM-RoBERTa de 559 millones de parámetros es el punto de partida sensato. Las relaciones se miden en tokens de OpenAI, porque la librería cuenta con la codificación gpt-3.5-turbo de tiktoken, así que el ahorro en Claude o Gemini será distinto.
La pega: el mantenimiento se ha reducido a un goteo. La última versión en PyPI, 0.2.2, es del 9 de abril de 2024; los commits de 2026 hasta ahora fijan GitHub Actions, y hay 101 incidencias abiertas. Funciona, pero estás adoptando código de investigación, no un producto con soporte.
Nuestra opinión: la compresión se gana el sueldo donde los prompts son largos, repetitivos y toleran la paráfrasis, como transcripciones de reuniones y montones de pasajes recuperados. Para prompts de agente cortos, el prompt caching del proveedor del modelo es el primer paso más barato.
Dónde se gana su sitio
Un ingeniero de ML que gestiona un asistente RAG sobre documentos de políticas internas
Recortar los tokens de entrada gastados en pasajes recuperados sin perder calidad de respuesta
Añade LongLLMLingua como node postprocessor de LlamaIndex con rate cerca de 0.5 y deja sin comprimir la pregunta del usuario y las citas. Mide la precisión de las respuestas en 100 preguntas reales antes y después; el 4x del artículo es un techo, no una promesa.
Un equipo de producto que resume llamadas de ventas de una hora
Meter transcripciones completas en la ventana de contexto de un modelo más barato
Ejecuta LLMLingua-2 con el modelo multilingüe BERT-base en CPU sobre la transcripción con rate 0.33, conservando las etiquetas de hablante con force_tokens. El compresor añade una llamada de modelo por transcripción, pero ningún gasto de API.
Un ingeniero de seguridad en una empresa con un chatbot público
Señalar intentos de jailbreak antes de que lleguen al modelo principal
SecurityLingua comprime un prompt entrante hasta su intención aparente, que luego puede revisar un paso de control. Es un modelo de investigación de 2025 con su propio readme, así que trátalo como una señal más junto a un guardrail dedicado.
Antes de decidirte
- Puesta en marcha
- pip install llmlingua instala torch y transformers; la primera llamada a PromptCompressor descarga el modelo elegido de Hugging Face, varios GB en el caso del Llama 2 por defecto.
- Integraciones
- Retriever de LangChain, node postprocessor de LlamaIndex, herramienta de Microsoft Prompt flow y llamadas Python directas (compress_prompt, structured_compress_prompt).
- Datos y privacidad
- Se ejecuta por completo en local una vez descargados los modelos; no se envía nada a Microsoft. Las cifras de 20x y 21.4% proceden de los artículos de los autores.
- Coste a escala
- Sin coste de licencia. El coste real es la inferencia del compresor: una GPU para el 7B por defecto, o tiempo de CPU para los codificadores de 177M o 559M de LLMLingua-2.
- Límites
- Última versión 0.2.2 en abril de 2024; 101 incidencias abiertas; ahorro contado en tokens de OpenAI; salida con pérdida no apta para código, cifras exactas o texto contractual.
Lo bueno
- Tres métodos revisados por pares en un solo paquete pip
- LLMLingua-2 funciona con un codificador de 177M o 559M, apto para CPU
- Control por secciones de lo que se comprime
- Integraciones listas para LangChain y LlamaIndex
Lo malo
- El 20x del titular es el mejor caso de los autores
- El modelo por defecto es un Llama 2 de 7B en GPU
- La salida con pérdida puede destrozar números y nombres
- Sin versión en PyPI desde abril de 2024
Ideal para
Pipelines de RAG y de transcripciones donde el contexto largo y tolerante a la paráfrasis domina la factura de tokens y alguien puede probar la calidad de las respuestas antes y después.
Alternativas a LLMLingua
LLMLingua: preguntas frecuentes
- ¿Merece la pena LLMLingua?
- Un método de investigación creíble para recortar prompts largos de RAG, pero el 20x es el mejor caso del artículo y el paquete no publica una versión desde abril de 2024. Le damos un 3.7 sobre 5.
- ¿Cuánto cuesta LLMLingua?
- Gratuito y de código abierto bajo MIT. Pagas el tiempo de GPU o CPU del modelo compresor local.
- ¿Qué inconvenientes tiene LLMLingua?
- El 20x del titular es el mejor caso de los autores; el modelo por defecto es un Llama 2 de 7B en GPU; la salida con pérdida puede destrozar números y nombres; sin versión en PyPI desde abril de 2024.
- ¿Para quién es LLMLingua?
- Pipelines de RAG y de transcripciones donde el contexto largo y tolerante a la paráfrasis domina la factura de tokens y alguien puede probar la calidad de las respuestas antes y después.
- ¿Cuánto cuesta LLMLingua para un equipo o en producción?
- Sin coste de licencia. El coste real es la inferencia del compresor: una GPU para el 7B por defecto, o tiempo de CPU para los codificadores de 177M o 559M de LLMLingua-2.
- ¿Es LLMLingua seguro para los datos de la empresa?
- Se ejecuta por completo en local una vez descargados los modelos; no se envía nada a Microsoft. Las cifras de 20x y 21.4% proceden de los artículos de los autores.
- ¿Cuáles son las mejores alternativas a LLMLingua?
- Las alternativas más cercanas que hemos analizado son Headroom, LlamaIndex y Caveman.
Respuestas comprobadas el 20 nov 2026.