Humanity's Last Exam
Humanity's Last Exam(HLE)은 수십 개 과목에 걸쳐 전문가가 쓴 2,500개의 질문으로 이루어진 벤치마크로, AI 모델에게 매우 어렵도록 만들었습니다. 답은 명확하고 확인 가능하지만 온라인에서 빠르게 찾을 수는 없습니다.
다른 이름: HLE, HLE-Rolling
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
HLE는 MMLU 같은 기존 시험이 최고 모델들을 더 이상 가려내지 못하게 된 뒤인 2025년에 공개되었습니다. 저자들은 모델이 그런 벤치마크에서 90% 넘는 점수를 낸다고 지적합니다. 전 세계의 과목 전문가들이 수학, 인문학, 자연과학에 걸친 질문을 썼습니다. 일부 질문에는 이미지가 포함되어 있어 멀티모달 시험입니다.
형식
질문은 객관식이거나 단답형이라 자동으로 채점할 수 있습니다. 각 질문에는 알려진 하나의 명확한 답이 있으며, 빠른 웹 검색으로는 찾을 수 없습니다. 저자들은 이를 이런 종류의 마지막 폐쇄형 학술 벤치마크로 의도했다고 설명합니다. 공개 질문과 함께, 모델이 공개 질문에 과적합되었는지 확인하기 위한 비공개 보류 세트도 유지합니다.
업데이트
데이터셋은 2025년 4월에 2,500문항으로 확정되었고, 논문은 2026년 1월 Nature에 실렸습니다. 연구 팀은 시간이 지나면서 갱신되는 동적 분기판인 HLE-Rolling도 운영합니다. Artificial Analysis Intelligence Index를 비롯한 일부 모델 평가는 부분집합을 씁니다.
보여 주는 것과 보여 주지 않는 것
HLE 점수가 높다는 것은 모델이 흔히 테스트 타임 컴퓨트의 도움을 받아 어려운 전문가 질문에 잘 답한다는 뜻입니다. 모델이 열린 연구나 긴 작업을 할 수 있다는 것을 보여 주지는 않으며, 그것은 에이전트 벤치마크가 다루려는 영역입니다. 모델이 자신이 틀릴 가능성이 높을 때를 아는지, 즉 보정(calibration)도 보고되는데 대개 좋지 않습니다. 더 작은 과학 전용 시험은 GPQA를 참고하십시오.
관련 용어
- AI 벤치마크
- AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
- GPQA
- GPQA(Graduate-Level Google-Proof Q&A)는 생물학, 물리학, 화학 분야의 어려운 객관식 문제 448개로 이루어진 벤치마크입니다. 전문가들이 작성해, 숙련된 비전문가는 웹을 무제한으로 검색해도 답하지 못하도록 만들었습니다.
- MMLU
- MMLU(Massive Multitask Language Understanding)는 초등 수학과 미국 역사부터 법학과 컴퓨터 과학까지 57개 과목을 다루는 객관식 벤치마크로, 언어 모델의 폭넓은 지식과 문제 해결 능력을 시험합니다.
- 추론 모델(Reasoning model)
- 추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
- 벤치마크 오염
- 벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.