HumanEval
HumanEval은 OpenAI가 2021년에 공개한 코드 생성 벤치마크입니다. 함수 시그니처, docstring, 단위 테스트를 갖춘 손으로 쓴 Python 문제 164개로, 모델이 실제로 동작하는 코드를 쓰는지 확인합니다.
다른 이름: OpenAI HumanEval
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
HumanEval은 Codex 논문과 함께 나왔습니다. Codex의 운영 버전은 GitHub Copilot을 구동했습니다. 각 문제는 모델에게 Python 함수 시그니처와 함수가 할 일을 설명하는 docstring을 줍니다. 모델이 본문을 쓰면, 벤치마크가 그 코드에 단위 테스트를 실행합니다. 이는 기능적 정확성을 측정합니다. 코드가 어떻게 생겼든 테스트를 통과하거나 통과하지 못하거나 둘 중 하나입니다.
채점 방식
결과는 pass@k로 보고하며, 보통 pass@1입니다. 공개 당시 Codex는 한 번의 시도로 문제의 28.8%를 풀었고, GPT-3는 하나도 풀지 못했습니다. 문제는 모델이 학습한 코드에 이미 들어 있지 않도록 손으로 작성되었습니다.
한계
HumanEval 문제는 짧고 독립적인 함수로, 실제 소프트웨어 작업보다는 면접 문제에 가깝습니다. 높은 점수는 큰 코드베이스의 버그 수정, 명령 실행, 여러 파일에 걸친 작업에 대해서는 알려 주는 것이 적습니다. 그것은 SWE-bench와 Terminal-Bench가 측정하려는 것입니다. 문제가 2021년부터 공개되어 있어 새로운 학습 데이터에 새어 들어갔을 수도 있는데, 이를 벤치마크 오염이라고 합니다. HumanEval 점수는 코딩 능력의 기본적인 바닥선으로 보고, 코딩 에이전트를 고르기 전에 자신의 작업으로 시험하십시오.
관련 용어
- pass@k
- pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.
- SWE-bench
- SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
- 벤치마크 오염
- 벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
- AI 벤치마크
- AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
- 코딩 에이전트
- 코딩 에이전트(coding agent)는 소프트웨어를 직접 다루는 AI 에이전트입니다. 사람이 붙여 넣을 코드를 제안하는 데 그치지 않고, 코드베이스를 읽고, 파일을 수정하고, 명령과 테스트를 실행하며, 변경이 동작할 때까지 반복합니다.