본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

ARC-AGI

ARC-AGI는 François Chollet가 시작하고 ARC Prize가 운영하는 벤치마크 시리즈로, AI 시스템이 이전에 본 적 없는 새로운 추론 퍼즐을 풀 수 있는지 시험합니다. 무엇을 아는지가 아니라 얼마나 효율적으로 배우는지를 측정합니다.

다른 이름: Abstraction and Reasoning Corpus, ARC-AGI-2, ARC-AGI-3, ARC Prize

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

대부분의 벤치마크는 특정 작업의 숙련도를 시험합니다. Chollet는 2019년 논문 On the Measure of Intelligence에서 숙련도만으로는 좋은 척도가 되지 못한다고 주장했습니다. 학습 데이터를 무한히 쓸 수 있으면 개발자가 실제 일반화 없이도 숙련도를 살 수 있기 때문입니다. 그는 지능을 기술 습득 효율로 정의하자고 제안하고, 이를 시험하기 위해 Abstraction and Reasoning Corpus(ARC)를 공개했습니다.

설계 방식

ARC 과제는 핵심 지식 사전 정보(core knowledge priors)에만 의존합니다. 사람이 태어날 때부터 갖고 있거나 아주 어릴 때 익히는 인지의 기본 요소입니다. 문화적 지식이나 전문 지식은 피하므로 사람과 AI를 공정하게 비교할 수 있습니다. ARC Prize는 이 벤치마크가 축적된 지식으로 쌓은 결정성 지능이 아니라, 새로운 문제에 맞춰 추론하고 적응하는 능력인 유동성 지능을 겨냥한다고 말합니다. 과제가 모두 새롭기 때문에 학습 데이터를 외워도 별 도움이 되지 않습니다.

시리즈

원래의 세트는 이제 ARC-AGI-1이라고 부릅니다. ARC Prize는 그 뒤 ARC-AGI-2와 ARC-AGI-3을 공개했고, 매년 대회를 열며 각각 공개 리더보드를 운영합니다. 점수는 버전마다 바뀌므로 최신 점수는 ARC Prize 사이트에서 확인하십시오.

왜 중요한가

ARC-AGI는 암기에 강하도록 설계되었기 때문에 추론 모델과 테스트 타임 컴퓨트의 흔한 기준점이 됩니다. 사람의 학습 효율에 맞먹는 것을 AGI로 보는 이 정의는 여러 관점 가운데 하나입니다. 높은 점수는 이 퍼즐에서의 적응력을 보여 줄 뿐 전반적인 능력을 보여 주지는 않으므로, 다른 벤치마크와 함께 읽으십시오.

관련 용어

AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
추론 모델(Reasoning model)
추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
테스트 타임 컴퓨트(Test-time compute)
테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.
리더보드(AI)
AI 리더보드(leaderboard)는 하나 이상의 벤치마크 점수나 사람의 선호 투표로 모델의 순위를 매긴 공개 표로, 새 모델이 시험될 때마다 갱신되어 독자가 모델을 나란히 비교할 수 있게 합니다.

출처