본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index는 벤치마킹 회사 Artificial Analysis가 만든 종합 점수로, 지식 노동, 코딩, 과학, 일반 지식에 걸친 여러 평가를 하나의 숫자로 합쳐 언어 모델을 비교합니다.

다른 이름: Artificial Analysis, AA Intelligence Index

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

모델 제작사들은 저마다 자신에게 유리한 벤치마크를 고릅니다. Artificial Analysis는 같은 평가 세트를 여러 모델에 직접 실행하고 그 결과를 하나의 지수로 합쳐, 공통 기준으로 모델을 비교할 수 있게 합니다. 이 사이트의 많은 모델 페이지가 이를 인용합니다. 모델과 랭킹을 참고하십시오.

구성

지수의 5.0.1 버전은 9개의 평가를 합칩니다. 여기에는 Terminal-Bench 4.0, HLE-Diamond(Humanity's Last Exam의 부분집합), 그리고 에이전트형 지식 노동에 대한 회사 자체 시험 몇 가지가 포함됩니다. 점수는 Knowledge Work, Coding, Science, General 네 범주의 가중 평균이며, 각 범주가 25%씩입니다. 여러 과제에서는 모델을 샌드박스 안에서 도구를 쓰는 에이전트로 실행합니다.

읽는 법

이 지수는 주로 텍스트 기반의 영어 평가 모음입니다. Artificial Analysis는 시각 추론, 음성, 다국어 성능을 따로 측정합니다. 회사 스스로도 모든 지표가 그렇듯 이 지수에도 한계가 있고 모든 사용 사례에 들어맞지는 않을 수 있다고 말합니다.

평가 구성은 버전마다 바뀌므로, 한 버전의 점수를 다른 버전의 점수와 비교할 수 없습니다. 출시 글이나 리더보드에서 지수 숫자를 보면 버전을 확인하십시오. 하나의 종합 점수는 장단점도 가립니다. 점수가 같은 두 모델이 서로 다른 일에 강할 수 있으므로, 관심 있는 작업의 범주 점수를 보고, 결정하기 전에 직접 LLM 평가를 실행하십시오.

관련 용어

AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
리더보드(AI)
AI 리더보드(leaderboard)는 하나 이상의 벤치마크 점수나 사람의 선호 투표로 모델의 순위를 매긴 공개 표로, 새 모델이 시험될 때마다 갱신되어 독자가 모델을 나란히 비교할 수 있게 합니다.
Terminal-Bench
Terminal-Bench는 명령줄 터미널에서 일하는 AI 에이전트를 위한 벤치마크로, 과제마다 에이전트에게 실제 환경을 주고, 일이 실제로 완료되었는지 확인하는 테스트로 채점합니다.
Humanity's Last Exam
Humanity's Last Exam(HLE)은 수십 개 과목에 걸쳐 전문가가 쓴 2,500개의 질문으로 이루어진 벤치마크로, AI 모델에게 매우 어렵도록 만들었습니다. 답은 명확하고 확인 가능하지만 온라인에서 빠르게 찾을 수는 없습니다.
LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.

출처