pass@k
pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.
다른 이름: pass@1, pass@10, pass@100
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
코드는 실행해서 확인할 수 있습니다. 그래서 HumanEval 같은 코딩 벤치마크는 모델의 코드를 참조 답안과 비교하는 대신 단위 테스트를 실행하고, 코드가 통과하면 문제를 푼 것으로 셉니다. pass@k는 모델에게 k번의 기회가 주어지면 적어도 하나가 작동할 가능성이 얼마나 되는지 묻습니다.
계산 방법
이 지표는 2019년 Kulal 등이 사용했고, OpenAI의 2021년 Codex 논문이 표준으로 만들었습니다. 정확히 k개를 뽑아 확인하면 수치의 변동이 크므로, 논문은 문제마다 n개 샘플을 생성하고(n = 200 사용) 통과한 c개를 센 뒤, n, c, k로 pass@k의 불편 추정치를 계산합니다. 논문은 이를 위한 짧은 numpy 함수를 함께 제공합니다.
수치 읽는 법
pass@1은 대부분의 사람이 코딩 어시스턴트를 쓰는 방식과 맞습니다. 답 하나를 받아 쓰거나 버립니다. pass@10이나 pass@100은 재시도와 승자를 고를 테스트 스위트가 있을 때 모델이 할 수 있는 것을 보여 줍니다. Codex는 HumanEval 문제의 28.8%를 pass@1로, 70.2%를 샘플 100개로 풀었으며, 이는 k에 따라 수치가 얼마나 달라지는지 보여 줍니다. 모델 비교는 같은 k, 샘플링 temperature, 프롬프트에서만 하십시오.
pass@k와 pass^k
τ-bench는 pass^k라고 쓰는 관련 지표를 쓰며, 이는 에이전트가 같은 과제의 k번 시도에서 모두 성공하는지 묻습니다. pass@k는 운 좋은 한 번의 성공을 보상하고, pass^k는 일관성을 보상합니다. 사람 없이 돌아가는 에이전트라면 pass^k가 더 많은 것을 말해 주는 경우가 많습니다. 이 지표들이 더 넓은 테스트 계 획에 어떻게 들어맞는지는 LLM 평가를 참고하십시오.
관련 용어
- HumanEval
- HumanEval은 OpenAI가 2021년에 공개한 코드 생성 벤치마크입니다. 함수 시그니처, docstring, 단위 테스트를 갖춘 손으로 쓴 Python 문제 164개로, 모델이 실제로 동작하는 코드를 쓰는지 확인합니다.
- SWE-bench
- SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
- LLM 평가
- LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
- AI 벤치마크
- AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
- τ-bench
- τ-bench(tau-bench)는 시뮬레이션된 고객 서비스 대화에서 AI 에이전트를 시험하는 벤치마크입니다. 언어 모델이 사용자 역할을 하고, 에이전트는 서면 정책 규칙을 지키면서 도메인 API 도구를 써야 합니다.