LLMLingua의 개요
LLMLingua는 큰 모델로 보내기 전에 프롬프트를 줄입니다. 더 작은 언어 모델이 각 토큰에 점수를 매기고, 라이브러리는 정보량이 가장 적다고 판단한 토큰을 버립니다. 결과는 간결하고 문법이 깨지기도 하는 프롬프트지만 큰 모델은 여전히 읽을 수 있습니다. 패키지에는 발표된 세 가지 방법이 들어 있습니다. LLMLingua(EMNLP 2023), RAG를 위해 검색된 문단을 사용자 질문에 맞춰 순위를 매기고 재배열하는 LongLLMLingua(ACL 2024), 그리고 GPT-4 라벨로 증류한 토큰 분류기로, 저자들에 따르면 원래 방법보다 3x~6x 빠른 LLMLingua-2(ACL 2024 Findings)입니다. 네 번째 모델인 SecurityLingua는 같은 아이디어를 탈옥 프롬프트 탐지에 적용합니다.
로컬에서 어떤 모델이 돌아가는지는 방법에 따라 다릅니다. 기본 PromptCompressor는 67억 개(6.7B) 파라미터의 NousResearch/Llama-2-7b-hf를 CUDA GPU에 올립니다. README는 microsoft/phi-2나, 8 GB 미만의 GPU 메모리에 들어가는 GPTQ 양자화 Llama 2도 제시합니다. LLMLingua-2는 이를 인코더로 바꿉니다. microsoft/llmlingua-2-xlm-roberta-large-meetingbank(약 5억 5,900만 개, 559M 파라미터)나 다국어 BERT-base 버전(약 1억 7,700만 개, 177M)으로, CPU에서 돌릴 만큼 작습니다.
MIT 라이선스이며 pip install llmlingua로 설치하고, LangChain, LlamaIndex, Microsoft의 Prompt flow에 통합되어 있습니다.
LLMLingua, 쓸 만한 가치가 있습니까?
LLMLingua는 실제 청구서에 대한 가장 잘 알려진 학술적 해답입니다. 검색된 문서와 긴 녹취록은 보내는 비용이 답변의 가치보다 클 때가 있습니다. README의 "성능 손실을 최소화하며 최대 20x 압축"은 추론과 문맥 내 학습 벤치마크를 다룬 2023년 논문에서 저자들이 직접 얻은 결과이지 독립적인 측정이 아닙니다. README 자체의 예시는 2,365토큰짜리 수학 프롬프트를 211토큰으로 압축하며, 비율은 11.2x입니다. LongLLMLingua의 핵심 주장은 범위가 더 좁고 RAG에 더 유용합니다. 토큰을 4분의 1만 쓰면서 답변이 최대 21.4% 좋아진다는 것이며, 이 역시 저자들의 벤치마크 결과입니다.
압축된 텍스트는 정보가 손실되며 겉으로도 드러납니다. README 예시에서 "highlighter pens"는 "ilters"가 되고 숫자가 서로 붙습니다. 큰 모델은 대개 이를 감당하지만, 정확한 수치, 이름, 코드, 법률 문구에 의존하는 부분은 압축에서 빼야 합니다. 라이브러리는 compress=False 태그로 구간을 지정하거나 줄바꿈과 물음표 같은 토큰을 반드시 남기도록 할 수 있으며, 이런 주의가 쓸모 있는 도입과 조용히 품질이 떨어지는 도입을 가릅니다.
숨은 비용은 압축기 자체입니다. 기본 경로는 호출할 때마다 7B Llama 2를 GPU에 올리므로, 저렴한 API 모델에서 아끼는 금액보다 지연 시간과 하드웨어 비용이 더 클 수 있습니다. 5억 5,900만 개(559M) 파라미터의 XLM-RoBERTa 모델을 쓰는 LLMLingua-2가 합리적인 출발점입니다. 비율은 OpenAI 토큰 기준입니다. 라이브러리가 tiktoken의 gpt-3.5-turbo 인코딩으로 세기 때문이며, Claude나 Gemini에서의 절감 효과는 다릅니다.
주의할 점: 유지보수가 거의 멈춰 가고 있습니다. PyPI의 마지막 릴리스 0.2.2는 2024년 4월 9일에 나왔고, 2026년 커밋은 지금까지 GitHub Actions 고정뿐이며, 열린 이슈는 101건입니다. 작동은 하지만 도입하는 것은 지원되는 제품이 아니라 연구용 코드입니다.
결론: 압축은 회의 녹취록이나 검색된 문단 묶음처럼 프롬프트가 길고 반복적이며 바꿔 말해도 괜찮은 곳에서 제값을 합니다. 짧은 에이전트 프롬프트라면 모델 제공자의 prompt caching이 더 저렴한 첫 단계입니다.
제 역할을 하는 곳
사내 규정 문서를 대상으로 RAG 어시스턴트를 운영하는 ML 엔지니어
답변 품질을 잃지 않고 검색된 문단에 쓰이는 입력 토큰을 줄이기
LongLLMLingua를 LlamaIndex node postprocessor로 rate 0.5 근처에 추가하고, 사용자 질문과 인용은 압축하지 않습니다. 실제 질문 100개로 전후 답변 정확도를 측정하세요. 논문의 4x는 상한선이지 약속이 아닙니다.
1시간짜리 영업 통화를 요약하는 제품 팀
전체 녹취록을 더 저렴한 모델의 컨텍스트 창에 넣기
다국어 BERT-base 모델로 LLMLingua-2를 CPU에서 rate 0.33으로 녹취록에 적용하고, force_tokens로 화자 라벨을 남깁니다. 압축기는 녹취록마다 모델 호출을 한 번 더하지만 API 비용은 없습니다.
공개 챗봇을 운영하는 회사의 보안 엔지니어
탈옥 시도를 메인 모델에 닿기 전에 표시하기
SecurityLingua는 들어온 프롬프트를 드러난 의도만 남도록 압축하고, 검사 단계가 이를 확인할 수 있습니다. 자체 readme가 있는 2025년 연구용 모델이므로 전용 가드레일과 함께 쓰는 신호 하나로 다루세요.
도입 전 확인할 점
- 설정
- pip install llmlingua로 torch와 transformers도 함께 설치됩니다. PromptCompressor를 처음 호출하면 선택한 모델을 Hugging Face에서 내려받으며, 기본 Llama 2는 수 GB입니다.
- 연동
- LangChain retriever, LlamaIndex node postprocessor, Microsoft Prompt flow 도구, 그리고 직접 Python 호출(compress_prompt, structured_compress_prompt).
- 데이터와 개인정보
- 모델을 내려받은 뒤에는 완전히 로컬에서 동작하며 Microsoft로 아무것도 보내지 않습니다. 20x와 21.4% 수치는 저자들의 논문에서 나온 것입니다.
- 대규모 사용 시 비용
- 라이선스 비용은 없습니다. 실제 비용은 압축기 추론으로, 기본 7B는 GPU, LLMLingua-2의 177M 또는 559M 인코더는 CPU 시간이 듭니다.
- 제한
- 마지막 릴리스는 2024년 4월의 0.2.2, 열린 이슈 101건, 절감량은 OpenAI 토큰 기준, 손실 압축 출력은 코드, 정확한 수치, 계약 문서에 부적합합니다.
좋은 점
- 동료 심사를 거친 세 가지 방법이 하나의 pip 패키지에
- LLMLingua-2는 177M 또는 559M 인코더로 CPU에서도 동작
- 구간별로 압축 대상을 제어 가능
- LangChain과 LlamaIndex용 통합 제공
아쉬운 점
- 헤드라인의 20x는 저자들의 최선의 경우
- 기본 모델은 GPU에서 도는 7B Llama 2
- 손실 압축 출력이 숫자와 이름을 망가뜨릴 수 있음
- 2024년 4월 이후 PyPI 릴리스 없음
추천 대상
길고 바꿔 말해도 되는 문맥이 토큰 비용의 대부분을 차지하고, 도입 전후의 답변 품질을 누군가 검증할 수 있는 RAG 및 녹취록 파이프라인.
LLMLingua 대안
LLMLingua: 자주 묻는 질문
- LLMLingua, 쓸 만한 가치가 있습니까?
- 긴 RAG 프롬프트를 줄이는 믿을 만한 연구 방법이지만, 20x는 논문의 최선의 경우이고 패키지는 2024년 4월 이후 릴리스가 없습니다. 평점은 5점 만점에 3.7점입니다.
- LLMLingua의 가격은 얼마입니까?
- MIT 라이선스의 무료 오픈소스입니다. 로컬 압축 모델의 GPU 또는 CPU 시간 비용만 듭니다.
- LLMLingua의 단점은 무엇입니까?
- 헤드라인의 20x는 저자들의 최선의 경우; 기본 모델은 GPU에서 도는 7B Llama 2; 손실 압축 출력이 숫자와 이름을 망가뜨릴 수 있음; 2024년 4월 이후 PyPI 릴리스 없음.
- LLMLingua에 적합한 사람은 누구입니까?
- 길고 바꿔 말해도 되는 문맥이 토큰 비용의 대부분을 차지하고, 도입 전후의 답변 품질을 누군가 검증할 수 있는 RAG 및 녹취록 파이프라인.
- 팀이나 프로덕션 환경에서 LLMLingua의 비용은 얼마입니까?
- 라이선스 비용은 없습니다. 실제 비용은 압축기 추론으로, 기본 7B는 GPU, LLMLingua-2의 177M 또는 559M 인코더는 CPU 시간이 듭니다.
- LLMLingua에 회사 데이터를 맡겨도 안전합니까?
- 모델을 내려받은 뒤에는 완전히 로컬에서 동작하며 Microsoft로 아무것도 보내지 않습니다. 20x와 21.4% 수치는 저자들의 논문에서 나온 것입니다.
- LLMLingua의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Headroom, LlamaIndex 및 Caveman입니다.
답변 확인일: 2026년 11월 20일.