LM Evaluation Harness의 개요
EleutherAI의 LM Evaluation Harness는 MMLU, HellaSwag, GSM8K처럼 수백 개의 하위 작업과 변형을 가진 60개 이상의 표준 학술 벤치마크로 언어 모델을 평가합니다. 결과를 비교할 수 있도록 고정된 프롬프트와 채점 방식을 씁니다.
Hugging Face Transformers, vLLM, SGLang, GGUF와 llama.cpp 서버, NVIDIA NeMo와 Megatron-LM, ONNX Runtime 등으로 모델을 불러오고, OpenAI, Anthropic, 그리고 LiteLLM 뒤의 모든 것을 포함한 호스팅 API를 호출합니다. Hugging Face의 Open LLM Leaderboard의 백엔드였으며(Hugging Face는 2025년 3월 이를 종료하고 읽기 전용 보관본으로 남겨 두었습니다), 수백 편의 논문에 등장합니다.
버전 0.4.13은 2026년 8월 31일에 공개되었습니다. 2026년 9월의 변경으로 백엔드, 지표, 필터를 포크하지 않고 자체 패키지에서 플러그인으로 등록할 수 있게 되었습니다.
LM Evaluation Harness, 쓸 만한 가치가 있습니까?
이 하니스는 모델을 측정합니다. 아주 많은 논문과 리더보드가 이를 쓰기 때문에, 그 수치는 연구실 사이에서 통용되는 몇 안 되는 수치에 속합니다. 그것이 가치의 전부입니다. 파인튜닝이 일반 능력을 해쳤는지 확인하거나 같은 프롬프트로 두 기반 모델을 비교할 때 쓰는 도구이며, 사용자의 프롬프트, 검색 파이프라인, 에이전트를 테스트하지는 않습니다.
실무에서 가장 큰 함정은 호스팅 채팅 API로는 대부분의 고전 벤치마크를 설계대로 돌릴 수 없다는 점입니다. README는 OpenAI ChatCompletions, Anthropic, LiteLLM을 logprobs 없이 생성만 하는 백엔드로 분류합니다. 그래서 객관식 MMLU나 퍼플렉시티 같은 로그 우도 작업에는 로컬 가중치나 프롬프트 logprobs를 돌려주는 API가 필요합니다. 비공개 모델의 경우 생성 작업의 답 추출이 조용히 실패할 수 있으므로, 메인테이너들은 먼저 --limit 10으로 출력 몇 개를 살펴볼 것을 권합니다.
도입은 더 가벼워졌습니다. 2025년 12월부터 기본 패키지가 더 이상 PyTorch나 Transformers를 끌어오지 않으며, 필요에 따라 lm_eval[hf], [vllm] 또는 [api]를 설치합니다. 멀티 GPU 실행은 accelerate나 vLLM으로 되지만 멀티 노드 평가는 기본 지원되지 않습니다.
활동은 약간 식었습니다. 마지막 커밋은 2026년 9월 14일이었고, 열린 이슈와 풀 리퀘스트는 약 1,240개입니다. 프롬프트 형식과 few-shot 설정에 따라 점수가 달라지므로, 하니스의 수치는 같은 버전과 설정으로 낸 다른 수치와만 비교할 수 있습니다. 에이전트와 안전성 평가에는 연구실들이 점점 더 Inspect를 찾습니다.
제 역할을 하는 곳
80 GB GPU 한 장으로 8B 모델을 파인튜닝하는 ML 엔지니어
파인튜닝 후 일반 능력이 떨어지지 않았는지 확인하기
vllm 백엔드와 --batch_size auto로 기반 체크포인트와 튜닝한 체크포인트에 같은 작업 세트(예: MMLU, HellaSwag, GSM8K)를 돌립니다. API 요금이 아니라 GPU 시간이 들며, --use_cache로 중단된 실행을 이어 갈 수 있습니다.
새 오픈 가중치 모델을 공개하는 연구팀
심사자가 받아들일 벤치마크 수치 보고하기
하니스 버전을 고정하고, few-shot과 채팅 템플릿 설정을 기록하며, --hf_hub_log_args로 결과와 샘플별 로그를 Hugging Face 데이터셋에 올려 다른 사람이 재현할 수 있게 합니다.
구매 결정을 위해 두 호스팅 모델 중 하나를 고르는 AI 플랫폼 책임자
추론과 수학 벤치마크로 업체 비교하기
GSM8K 같은 생성 작업에 openai-chat-completions나 anthropic-chat 백엔드를 씁니다. 벤치마크 항목마다 업체의 토큰 가격으로 과금되는 API 호출이 하나씩 생기며, 이 API로는 객관식 로그 우도 작업을 쓸 수 없습니다.
도입 전 확인할 점
- 설정
- pip install lm-eval(Python 3.10 이상)에 lm_eval[hf]나 lm_eval[vllm] 같은 추가 옵션을 설치합니다. --model, --model_args, --tasks를 붙인 lm_eval 명령 하나로 첫 점수가 나옵니다. 로컬 모델에는 모델 크기에 맞는 GPU가 필요하며, lm-eval ls tasks로 쓸 수 있는 작업을 모두 볼 수 있습니다.
- 연동
- Transformers(PEFT 어댑터와 GPTQ 포함), vLLM, SGLang, llama.cpp, NeMo, Megatron-LM, OpenVINO, AWS Neuron, ONNX Runtime, Windows ML, OpenAI, Anthropic, Watsonx, LiteLLM API, 그리고 모든 OpenAI 호환 서버를 지원합니다. 결과는 Weights and Biases, Zeno 또는 Hugging Face Hub로 보낼 수 있습니다.
- 데이터와 개인정보
- 로컬에서 실행됩니다. 호스팅 모델 API를 호출하거나 본인 토큰으로 Hub에 결과를 올릴 때만 데이터가 밖으로 나갑니다. 일부 모델은 모델 저장소의 코드를 실행하는 trust_remote_code가 필요합니다. 저장소에 공개된 보안 권고는 없습니다. MIT 라이선스입니다.
- 대규모 사용 시 비용
- 소프트웨어는 무료이고, 비용은 로컬 모델의 GPU 시간이나 호스팅 모델의 토큰당 API 요금입니다. 큰 모델에 전체 스위트를 돌리는 것은 상당한 GPU 작업이므로, 팀들은 보통 체크포인트마다 고정된 일부만 돌리고 스모크 테스트에는 --limit를 씁니다.
- 제한
- 채팅 API는 생성 전용이고, llama.cpp 서버에는 퍼플렉시티가 구현되지 않았으며, Cohere는 API 버그로 막혀 있고, 멀티 노드 실행은 기본 지원되지 않습니다. 프롬프트 형식 변경으로 점수가 달라지므로 결과에는 사용한 버전을 밝혀야 합니다.
좋은 점
- 수백 개의 하위 작업을 가진 60개 이상의 벤치마크
- 널리 인용되어 논문 간 점수 비교 가능
- Transformers와 vLLM부터 NeMo, ONNX, LiteLLM까지의 백엔드
- 포크 없이 사용자 정의 백엔드와 지표를 쓰는 플러그인 시스템
아쉬운 점
- 채팅 API로는 표준 MMLU 같은 로그 우도 작업을 돌릴 수 없음
- 애플리케이션이 아니라 모델을 측정
- 멀티 노드 평가 기본 지원 없음
- 열린 이슈와 PR 약 1,240개
추천 대상
표준 벤치마크로 모델을 비교하는 연구자와 모델 학습자.
LM Evaluation Harness 대안
LM Evaluation Harness: 자주 묻는 질문
- LM Evaluation Harness, 쓸 만한 가치가 있습니까?
- 모델 벤치마크의 공통 잣대이지만, 그 위에 만든 애플리케이션을 판단하기에는 맞지 않는 도구입니다. 평점은 5점 만점에 4.4점입니다.
- LM Evaluation Harness의 가격은 얼마입니까?
- MIT 라이선스의 무료 오픈소스입니다.
- LM Evaluation Harness의 단점은 무엇입니까?
- 채팅 API로는 표준 MMLU 같은 로그 우도 작업을 돌릴 수 없음; 애플리케이션이 아니라 모델을 측정; 멀티 노드 평가 기본 지원 없음; 열린 이슈와 PR 약 1,240개.
- LM Evaluation Harness에 적합한 사람 은 누구입니까?
- 표준 벤치마크로 모델을 비교하는 연구자와 모델 학습자.
- 팀이나 프로덕션 환경에서 LM Evaluation Harness의 비용은 얼마입니까?
- 소프트웨어는 무료이고, 비용은 로컬 모델의 GPU 시간이나 호스팅 모델의 토큰당 API 요금입니다. 큰 모델에 전체 스위트를 돌리는 것은 상당한 GPU 작업이므로, 팀들은 보통 체크포인트마다 고정된 일부만 돌리고 스모크 테스트에는 --limit를 씁니다.
- LM Evaluation Harness에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. 호스팅 모델 API를 호출하거나 본인 토큰으로 Hub에 결과를 올릴 때만 데이터가 밖으로 나갑니다. 일부 모델은 모델 저장소의 코드를 실행하는 trust_remote_code가 필요합니다. 저장소에 공개된 보안 권고는 없습니다. MIT 라이선스입니다.
- LM Evaluation Harness의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Inspect, DeepEval 및 promptfoo입니다.
답변 확인일: 2026년 10월 26일.
LM Evaluation Harness 개발사입니까? 이 평점을 사이트에 표시하십시오
