본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

리더보드(AI)

AI 리더보드(leaderboard)는 하나 이상의 벤치마크 점수나 사람의 선호 투표로 모델의 순위를 매긴 공개 표로, 새 모델이 시험될 때마다 갱신되어 독자가 모델을 나란히 비교할 수 있게 합니다.

다른 이름: arena, LLM leaderboard, model leaderboard

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

리더보드는 벤치마크 결과를 표로 바꿉니다. 일부는 코딩이나 임베딩 시험처럼 하나의 AI 벤치마크로 모델의 순위를 매깁니다. 일부는 Artificial Analysis Index처럼 여러 벤치마크를 하나의 지수로 합칩니다. 아레나(arena)라고 부르는 다른 리더보드는 블라인드 나란히 비교에서 사람들이 얼마나 자주 그 모델의 답을 선호하는지로 순위를 매깁니다.

아레나

가장 잘 알려진 것은 Chatbot Arena입니다(LMArena 참고). 사용자가 익명의 두 모델과 대화하고 더 나은 답에 투표합니다. 이를 설명한 논문은 쌍대 비교와 크라우드소싱 투표를 쓰며, 가장 많이 인용되는 LLM 리더보드 중 하나가 되었다고 설명합니다. 투표는 Elo 방식 레이팅으로 점수가 됩니다. 아레나는 고정된 시험이 놓치는, 열린 대화에서 사람들이 좋아하는 것을 포착하지만, 문체, 길이, 형식에도 보상을 줍니다.

읽는 법

무엇을 측정하는지, 누가 시험했는지 확인하십시오. 리더보드 운영진인지, 자체 수치를 보고한 모델 제작사인지입니다. 신뢰 구간을 보십시오. 몇 점 차이인 모델들은 통계적으로 동률인 경우가 많습니다. 순위는 빠르게 바뀌므로 날짜를 확인하십시오. 벤치마크 오염과 리더보드 형식에 맞춰 조정된 모델을 경계하십시오.

이 사이트의 랭킹은 작업별로 공개 점수를 모읍니다. 어떤 리더보드든 첫 후보 목록으로 다루고, 상위 몇 개를 자신의 데이터로 시험하십시오.

관련 용어

AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
Elo 레이팅(모델 아레나)
모델 아레나에서 Elo 레이팅(Elo rating)은 모델 쌍 사이의 수많은 일대일 투표로 계산한 점수로, 두 점수의 차이가 한 모델의 답이 다른 모델의 답보다 얼마나 자주 선호될지를 예측합니다.
LMArena
LMArena는 처음에 Chatbot Arena로 알려졌던 공개 플랫폼으로, 크라우드소싱한 사람들의 투표로 AI 모델 순위를 매깁니다. 사용자는 익명의 두 모델이 같은 프롬프트에 답하는 것을 보고 더 나은 응답을 고릅니다.
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index는 벤치마킹 회사 Artificial Analysis가 만든 종합 점수로, 지식 노동, 코딩, 과학, 일반 지식에 걸친 여러 평가를 하나의 숫자로 합쳐 언어 모델을 비교합니다.
벤치마크 오염
벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.

출처