Terminal-Bench
Terminal-Bench는 명령줄 터미널에서 일하는 AI 에이전트를 위한 벤치마크로, 과제마다 에이전트에게 실제 환경을 주고, 일이 실제로 완료되었는지 확인하는 테스트로 채점합니다.
다른 이름: Terminal-Bench 2.0, tbench
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
코딩 에이전트는 점점 더 셸 을 통해 일합니다. 패키지를 설치하고, 파일을 편집하고, 빌드를 실행하고, 디버깅합니다. Terminal-Bench는 이를 측정합니다. Stanford와 Laude Institute가 지원하는 팀이 운영하며, 과제는 퍼즐식 문제가 아니라 실제 워크플로에서 가져옵니다.
작동 방식
과제마다 자체 환경, 사람이 쓴 참조 해답, 결과를 검증하는 테스트가 딸려 옵니다. 에이전트는 지시와 함께 환경에 투입되어 터미널로 일을 끝내야 합니다. 점수는 해결한 과제의 비율입니다. Terminal-Bench 2.0 논문은 어려운 과제 89개를 설명하며, 프런티어 모델과 에이전트의 점수가 65% 미만이었다고 보고합니다. 프로젝트는 이후 새 버전으로 넘어갔으며, 이 글을 쓰는 시점에 사이트에는 Terminal-Bench 4.1이 올라와 있습니다.
모델과 하네스를 함께
리더보드는 결과마다 모델과 에이전트를 모두 표시합니다. 같은 모델도 에이전트 하네스에 따라 점수가 다를 수 있기 때문입니다. 모델 제작사가 Terminal-Bench 수치를 인용하면 어떤 하네스와 버전을 썼는지 확인하십시오. 사이트는 벤치마크 오염을 줄이기 위해 학습 데이터에 절대 들어가지 않도록 요청하는 canary 문자열로 데이터를 표시해 둡니다.
SWE-bench와의 차이
SWE-bench는 에이전트에게 오픈소스 저장소의 실제 이슈를 고치도록 요구합니다. Terminal-Bench는 시스템 설정부터 데이터 작업까지 더 넓은 범위의 명령줄 작업을 다룹니다. 둘 다 코딩 에이전트를 고를 때 유용하지만, 어느 쪽도 안전한 샌드박스에서 자신의 프로젝트로 에이전트를 직접 써 보는 것을 대신하지는 못합니다.
관련 용어
- SWE-bench
- SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
- 코딩 에이전트
- 코딩 에이전트(coding agent)는 소프트웨어를 직접 다루는 AI 에이전트입니다. 사람이 붙여 넣을 코드를 제안하는 데 그치지 않고, 코드베이스를 읽고, 파일을 수정하고, 명령과 테스트를 실행하며, 변경이 동작할 때까지 반복합니다.
- 에이전트 하네스
- 에이전트 하네스(agent harness)는 모델을 실제로 동작하는 에이전트로 만드는 주변 소프트웨어입니다. 루 프, 도구, 시스템 프롬프트, 권한, 컨텍스트 관리, 그리고 세션 사이에 진행 상황을 이어 주는 파일이 여기에 포함됩니다.
- AI 벤치마크
- AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
- 에이전트 샌드박스
- 에이전트 샌드박스(agent sandbox)는 AI 에이전트가 코드와 명령을 실행하는 격리된 환경입니다. 컨테이너, 가상 머신, 운영체제 제한 등이 있으며, 정해진 한계 밖의 파일, 네트워크, 데이터에 닿지 못하게 합니다.