본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

Terminal-Bench

Terminal-Bench는 명령줄 터미널에서 일하는 AI 에이전트를 위한 벤치마크로, 과제마다 에이전트에게 실제 환경을 주고, 일이 실제로 완료되었는지 확인하는 테스트로 채점합니다.

다른 이름: Terminal-Bench 2.0, tbench

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

코딩 에이전트는 점점 더 셸을 통해 일합니다. 패키지를 설치하고, 파일을 편집하고, 빌드를 실행하고, 디버깅합니다. Terminal-Bench는 이를 측정합니다. Stanford와 Laude Institute가 지원하는 팀이 운영하며, 과제는 퍼즐식 문제가 아니라 실제 워크플로에서 가져옵니다.

작동 방식

과제마다 자체 환경, 사람이 쓴 참조 해답, 결과를 검증하는 테스트가 딸려 옵니다. 에이전트는 지시와 함께 환경에 투입되어 터미널로 일을 끝내야 합니다. 점수는 해결한 과제의 비율입니다. Terminal-Bench 2.0 논문은 어려운 과제 89개를 설명하며, 프런티어 모델과 에이전트의 점수가 65% 미만이었다고 보고합니다. 프로젝트는 이후 새 버전으로 넘어갔으며, 이 글을 쓰는 시점에 사이트에는 Terminal-Bench 4.1이 올라와 있습니다.

모델과 하네스를 함께

리더보드는 결과마다 모델과 에이전트를 모두 표시합니다. 같은 모델도 에이전트 하네스에 따라 점수가 다를 수 있기 때문입니다. 모델 제작사가 Terminal-Bench 수치를 인용하면 어떤 하네스와 버전을 썼는지 확인하십시오. 사이트는 벤치마크 오염을 줄이기 위해 학습 데이터에 절대 들어가지 않도록 요청하는 canary 문자열로 데이터를 표시해 둡니다.

SWE-bench와의 차이

SWE-bench는 에이전트에게 오픈소스 저장소의 실제 이슈를 고치도록 요구합니다. Terminal-Bench는 시스템 설정부터 데이터 작업까지 더 넓은 범위의 명령줄 작업을 다룹니다. 둘 다 코딩 에이전트를 고를 때 유용하지만, 어느 쪽도 안전한 샌드박스에서 자신의 프로젝트로 에이전트를 직접 써 보는 것을 대신하지는 못합니다.

관련 용어

SWE-bench
SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
코딩 에이전트
코딩 에이전트(coding agent)는 소프트웨어를 직접 다루는 AI 에이전트입니다. 사람이 붙여 넣을 코드를 제안하는 데 그치지 않고, 코드베이스를 읽고, 파일을 수정하고, 명령과 테스트를 실행하며, 변경이 동작할 때까지 반복합니다.
에이전트 하네스
에이전트 하네스(agent harness)는 모델을 실제로 동작하는 에이전트로 만드는 주변 소프트웨어입니다. 루프, 도구, 시스템 프롬프트, 권한, 컨텍스트 관리, 그리고 세션 사이에 진행 상황을 이어 주는 파일이 여기에 포함됩니다.
AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
에이전트 샌드박스
에이전트 샌드박스(agent sandbox)는 AI 에이전트가 코드와 명령을 실행하는 격리된 환경입니다. 컨테이너, 가상 머신, 운영체제 제한 등이 있으며, 정해진 한계 밖의 파일, 네트워크, 데이터에 닿지 못하게 합니다.

출처