본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

AIME(벤치마크)

AIME(American Invitational Mathematics Examination)는 0부터 999까지의 정수로 답하는 15문항짜리 미국 수학 경시대회입니다. AI 연구소들은 AIME 2025 같은 기출 문제를 수학 추론 벤치마크로 씁니다.

다른 이름: AIME 2025, AIME 2024, American Invitational Mathematics Examination

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

이 이름에는 두 가지 뜻이 있습니다. 첫째, AIME는 Mathematical Association of America가 AMC 10이나 AMC 12에서 좋은 점수를 받은 학생을 위해 치르는 실제 시험입니다. 15문항을 총 3시간 동안 풀며, USA Mathematical Olympiad로 가는 경로에 있습니다.

AI 벤치마크로서의 AIME

둘째, 모델 발표에서 "AIME 2025"는 그해 문제에 대한 모델의 점수를 뜻합니다. AIME는 문제마다 여러 단계의 추론이 필요하면서도 모든 답이 0부터 999까지의 정수 하나이므로 채점이 자동적이고 정확해 AI 시험에 적합합니다. Artificial Analysis Intelligence Index 같은 평가는 수학적 동치 검사기와 함께 AIME 2025를 써 왔습니다.

점수 읽기

AIME 결과는 답하기 전에 추가 테스트 타임 컴퓨트를 써서 문제를 풀어 나가는 추론 모델을 보여 주는 흔한 방법이 되었습니다. 한 시험에 15문항뿐이라 한 문제가 점수를 크게 움직이므로, 모델 사이의 작은 차이는 별 의미가 없습니다. 기출 문제는 온라인에 공개되어 있어 예전 연도는 학습 데이터에 새어 들어갔을 수 있습니다. 이를 벤치마크 오염이라고 합니다. 그래서 보고서는 보통 연도를 밝히며, 가장 최근 연도가 가장 믿을 만합니다.

한계

AIME는 짧은 답을 요구하는 경시 수학을 시험합니다. 증명, 코드로 하는 응용 수학, 풀이를 명확하게 설명하는 능력에 대해서는 알려 주는 것이 적습니다. 여러 벤치마크 가운데 하나의 신호로 쓰십시오.

관련 용어

AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
추론 모델(Reasoning model)
추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
벤치마크 오염
벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
테스트 타임 컴퓨트(Test-time compute)
테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.
사고의 사슬(Chain-of-thought)
사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.

출처