본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

MMLU

MMLU(Massive Multitask Language Understanding)는 초등 수학과 미국 역사부터 법학과 컴퓨터 과학까지 57개 과목을 다루는 객관식 벤치마크로, 언어 모델의 폭넓은 지식과 문제 해결 능력을 시험합니다.

다른 이름: Massive Multitask Language Understanding, MMLU-Pro

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

MMLU는 2020년 Dan Hendrycks 등이 발표했습니다. 학교 수준부터 전문가 수준까지 57개 과제에 걸쳐 보기 4개짜리 객관식 문제를 냅니다. 모델의 점수는 정확도입니다. 일반 지식을 숫자 하나로 보여 주었기 때문에, 몇 년 동안 거의 모든 모델 출시에서 대표 수치로 쓰였습니다.

지금은 덜 중요한 이유

벤치마크는 닳습니다. Humanity's Last Exam의 저자들은 이제 모델들이 MMLU 같은 인기 벤치마크에서 90%가 넘는 점수를 받아, 강한 모델끼리 구별할 여지가 거의 없다고 지적합니다. MMLU-Pro 저자들은 MMLU에서 너무 쉽거나 오류가 섞인 문제를 발견했으며, 시험이 오래 공개되어 있었기 때문에 벤치마크 오염도 실제 우려입니다. 오늘날 MMLU 점수가 높다는 것은 대체로 모델이 약하지 않다는 뜻 정도입니다.

MMLU-Pro

2024년에 나온 MMLU-Pro는 더 어려운 버전입니다. 추론 중심 문제를 더하고, 찍기의 이득이 줄도록 보기를 4개에서 10개로 늘리고, 너무 쉽거나 오류가 섞인 문제를 뺐습니다. 저자들은 MMLU 대비 정확도가 16%에서 33% 떨어지고, 프롬프트 문구에 덜 민감하며, chain-of-thought 추론을 쓰면 결과가 좋아진다고 보고합니다. 이는 기억뿐 아니라 추론도 시험한다는 것을 시사합니다.

활용법

MMLU와 MMLU-Pro는 폭넓은 지식 점검으로 보십시오. 어려운 과학 문제는 GPQA를, 모델의 전반적인 순위는 리더보드나 사이트 순위를 참고하십시오.

관련 용어

AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
GPQA
GPQA(Graduate-Level Google-Proof Q&A)는 생물학, 물리학, 화학 분야의 어려운 객관식 문제 448개로 이루어진 벤치마크입니다. 전문가들이 작성해, 숙련된 비전문가는 웹을 무제한으로 검색해도 답하지 못하도록 만들었습니다.
Humanity's Last Exam
Humanity's Last Exam(HLE)은 수십 개 과목에 걸쳐 전문가가 쓴 2,500개의 질문으로 이루어진 벤치마크로, AI 모델에게 매우 어렵도록 만들었습니다. 답은 명확하고 확인 가능하지만 온라인에서 빠르게 찾을 수는 없습니다.
벤치마크 오염
벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
리더보드(AI)
AI 리더보드(leaderboard)는 하나 이상의 벤치마크 점수나 사람의 선호 투표로 모델의 순위를 매긴 공개 표로, 새 모델이 시험될 때마다 갱신되어 독자가 모델을 나란히 비교할 수 있게 합니다.

출처