본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

AI 벤치마크

AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.

다른 이름: benchmark, LLM benchmark, eval suite

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

벤치마크는 업계에 공통의 잣대를 줍니다. 어떤 연구소가 새 모델이 코딩을 더 잘한다고 말하면, 대개 SWE-bench 같은 벤치마크에서 점수가 더 높다는 뜻입니다. 임베딩 모델은 MTEB로 비교합니다. 점수는 리더보드와 이 사이트의 랭킹에 모입니다.

벤치마크 점수 읽는 법

실제로 어떤 과제인지 물어보십시오. 객관식 시험, 실제 GitHub 이슈 모음, 대중 투표는 전혀 다른 것을 잽니다. 어떻게 채점했는지 물어보십시오. 정확한 답, 단위 테스트 통과, 심판 역할을 하는 모델 중 무엇인지 말입니다. 설정을 확인하십시오. 시도를 몇 번 허용했는지(pass@k 참고), 어떤 도구와 프롬프트를 썼는지, 연구소가 직접 시험했는지 독립 단체가 했는지입니다. 모델 사이의 작은 차이는 시험의 오차 범위 안에 있는 경우가 많습니다.

점수가 오해를 부르는 이유

벤치마크는 모델이 그 답을 보지 못했을 때만 쓸모가 있습니다. 시험 문항이 학습 데이터로 새어 들어가면 실제 향상 없이 점수가 오릅니다. 이것이 벤치마크 오염입니다. 인기 있는 벤치마크는 포화되기도 합니다. 상위 모델이 모두 최고점 근처에 이르면 더 이상 모델을 가려내지 못하고, 업계는 더 어려운 시험으로 옮겨 갑니다. 또 모델은 바탕이 되는 능력이 나아지지 않아도 벤치마크 형식에 맞춰 조정될 수 있습니다.

HELM 프로젝트는 정확도 숫자 하나가 너무 많은 것을 가린다고 주장하며, 보정(calibration)과 견고성을 포함한 여러 지표로 다양한 시나리오에서 모델을 측정했습니다.

벤치마크와 자체 평가

공개 벤치마크로는 후보 목록을 만드십시오. 그다음 자신의 작업과 데이터로 LLM 평가를 실행하십시오. 모델이 실제 사용자에게 어떻게 동작할지 알려 주는 시험은 그것뿐이기 때문입니다.

관련 용어

리더보드(AI)
AI 리더보드(leaderboard)는 하나 이상의 벤치마크 점수나 사람의 선호 투표로 모델의 순위를 매긴 공개 표로, 새 모델이 시험될 때마다 갱신되어 독자가 모델을 나란히 비교할 수 있게 합니다.
벤치마크 오염
벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
SWE-bench
SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
MTEB
MTEB(Massive Text Embedding Benchmark)는 텍스트 임베딩 모델을 검색, 클러스터링, 분류, 리랭킹 등 여러 작업 유형에 걸쳐 많은 데이터셋과 언어로 채점하는 공개 벤치마크이자 리더보드입니다.
LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
pass@k
pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.

출처