본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

GPQA

GPQA(Graduate-Level Google-Proof Q&A)는 생물학, 물리학, 화학 분야의 어려운 객관식 문제 448개로 이루어진 벤치마크입니다. 전문가들이 작성해, 숙련된 비전문가는 웹을 무제한으로 검색해도 답하지 못하도록 만들었습니다.

다른 이름: Graduate-Level Google-Proof Q&A, GPQA Diamond

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

GPQA는 2023년 David Rein 등이 발표했습니다. 문제는 각 분야의 박사 학위를 가졌거나 박사 과정에 있는 사람들이 쓰고 검토했습니다. 문제가 어렵다는 것을 증명하려고, 저자들은 다른 분야의 숙련된 검증자들에게 웹을 자유롭게 검색하게 하고 문제를 풀게 했습니다.

숫자

분야 전문가는 65%의 정확도를 기록했고, 나중에 스스로 알아차린 실수를 빼면 74%였습니다. 비전문가는 웹을 마음껏 쓰면서 문제당 평균 30분 넘게 들였는데도 34%에 그쳤습니다. 이것이 "Google-proof"의 뜻입니다. 답을 찾아볼 수 없다는 것입니다. 논문에서 가장 강한 GPT-4 기준선은 39%를 기록했습니다.

GPQA Diamond

논문은 세 가지 세트를 공개합니다. 546문항의 확장 세트, 448문항의 메인 세트, 198문항의 Diamond 세트입니다. Diamond는 전문가 검증자 두 명이 모두 답에 동의하고 비전문가 세 명 중 최대 한 명만 맞힌 문제만 남깁니다. 대부분의 모델 제작사가 보고하는 것은 Diamond 버전입니다.

만든 이유

저자들은 확장 가능한 감독(scalable oversight)을 위한 시험을 원했습니다. AI가 사람보다 더 많이 알 수 있는 분야에서 사람이 AI의 답을 확인하는 방법입니다. 개발자에게 GPQA는 어려운 과학적 추론의 신호이며, 흔히 MMLU, Humanity's Last Exam과 함께 보고됩니다. 객관식이고 규모가 작아서 몇 문제가 점수를 움직이며, 공개되어 있어서 벤치마크 오염이 일어날 수 있습니다. 점수 하나만 읽기보다 랭킹에서 모델 간에 비교하십시오.

관련 용어

AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
MMLU
MMLU(Massive Multitask Language Understanding)는 초등 수학과 미국 역사부터 법학과 컴퓨터 과학까지 57개 과목을 다루는 객관식 벤치마크로, 언어 모델의 폭넓은 지식과 문제 해결 능력을 시험합니다.
Humanity's Last Exam
Humanity's Last Exam(HLE)은 수십 개 과목에 걸쳐 전문가가 쓴 2,500개의 질문으로 이루어진 벤치마크로, AI 모델에게 매우 어렵도록 만들었습니다. 답은 명확하고 확인 가능하지만 온라인에서 빠르게 찾을 수는 없습니다.
추론 모델(Reasoning model)
추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
벤치마크 오염
벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.

출처