SWE-bench
SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
다른 이름: SWE-bench Verified, SWE-bench Lite
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
예전 코딩 시험은 모델에게 짧은 함수 하나를 쓰게 했습니다. SWE-bench는 개발자가 실제로 하는 일을 요구합니다. 이슈를 읽고, 큰 코드베이스에서 알맞은 파일을 찾아, 수정하는 것입니다. 원래 논문은 12개 Python 저장소의 실제 이슈와 그 풀 리퀘스트에서 2,294개 문제를 모았습니다. 수정이 여러 함수나 파일에 걸치는 경우가 많아, 자동 완성만이 아니라 검색하고, 코드를 실행하고, 반복할 수 있는 에이전트가 유리합니다.
채점 방식
각 과제에는 수정 직전 커밋 상태의 저장소와, 실제 풀 리퀘스트가 통과시킨 테스트가 딸려 옵니다. 테스트 대상 시스템이 패치를 만듭니다. 하네스가 이를 적용하고 테스트를 실행합니다. 점수는 해결한 이슈의 비율입니다. 논문이 나왔을 때 테스트한 최고 모델은 이슈의 2% 미만을 풀었습니다. 오늘날 코딩 에이전트의 점수는 현재 리더보드에서 확인하십시오.
SWE-bench Verified
SWE-bench Verified는 원래 테스트 세트에서 사람이 품질을 확인한 500개 과제의 부분집합입니다. 그 밖의 변형으로 Lite, Multilingual, Multimodal이 있으며, 공식 리더보드에 나와 있습니다.
점수 읽는 법
에이전트 스캐폴드는 모델만큼 중요합니다. 같은 모델도 도구, 프롬프트, 단계 제한에 따라 점수가 다릅니다. 어떤 변형을 썼는지, 결과가 연구소 자체 실행인지 독립적인 실행인지 확인하십시오. 이슈가 공개되어 있으므로 벤치마크 오염은 실제 우려입니다. mini-SWE-agent는 SWE-bench 계열 프로젝트의 일부로 소개된 작은 에이전트입니다. 터미널 위주의 작업은 Terminal-Bench를 참고하십시오.
관련 용어
- 코딩 에이전트
- 코딩 에이전트(coding agent)는 소프트웨어를 직접 다루는 AI 에이전트입니다. 사람이 붙여 넣을 코드를 제안하는 데 그치지 않고, 코드베이스를 읽고, 파일을 수정하고, 명령과 테스트를 실행하며, 변경이 동작할 때까지 반복합니다.
- AI 벤치마크
- AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
- Terminal-Bench
- Terminal-Bench는 명령줄 터미널에서 일하는 AI 에이전트를 위한 벤치마크로, 과제마다 에이전트에게 실제 환경을 주고, 일이 실제로 완료되었는지 확인하는 테스트로 채점합니다.
- 벤치마크 오염
- 벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
- pass@k
- pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.