회귀 테스트(LLM 앱)
LLM 앱의 회귀 테스트(regression testing)는 프롬프트, 모델, 검색 설정, 도구를 바꿀 때마다 고정된 평가 케이스를 다시 실행해, 예전에는 잘 되다가 이제 실패하는 케이스를 잡아내는 것입니다.
다른 이름: LLM regression testing, prompt regression testing, eval regression
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
일반 소프트웨어에서 회귀란 예전에 잘 되던 기능에 생긴 버그를 말합니다. LLM 앱은 쉽게 회귀합니다. 프롬프트 문구를 바꾸면 답 하나는 고쳐지고 다른 셋이 망가지고, 제공업체가 모델을 업데이트하고, 새 검색 설정이 들어오는 컨텍스트를 바꿉니다. 회귀 테스트는 사용자보다 먼저 이런 문제를 잡아냅니다.
작동 방식
실제 입력과 기대 결과로 이루어진 골든 데이터셋에서 시작합니다. 변경할 때마다 모든 케이스를 앱에 넣고 출력을 채점합니다. 정답이 정해져 있으면 코드로, 열린 답변은 LLM-as-a-judge로, 일부 표본은 사람이 채점합니다. 점수를 이전 실행과 비교하고, 떨어지면 빌드를 실패시킵니다. OpenAI의 cookbook은 푸시 알림을 요약하는 앱을 예로 들어, 프롬프트 변경이 동작을 회귀시키는지 확인하는 방법을 보여 줍니다. promptfoo 같은 오픈소스 도구를 쓰면 케이스를 선언적으로 작성하고 CI에서 실행할 수 있습니다.
단위 테스트와 다른 점
모델 출력은 실행할 때마다 달라지며, temperature가 높을수록 더 그렇습니다. 각 케이스를 여러 번 실행하고, 단일 결과가 아니라 통과율을 추적하고, 정확한 일치를 요구하는 대신 기준치를 정합니다. 가능하면 모델 버전을 고정해, 변화가 내 코드에서 왔는지 제공업체에서 왔는지 알 수 있게 합니다.
프로덕션에서
오프라인 테스트는 알려진 케이스를 다룹니다. LLM 관측성은 미처 생각하지 못한 케이스를 잡아냅니다. 그런 실패를 테스트 세트에 추가하면 다시 깨지지 않습니다. 둘이 함께 LLM 평가의 테스트 측면을 이룹니다.
관련 용어
- LLM 평가
- LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
- 골든 데이터셋
- 골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.
- LLM-as-a-judge
- LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
- LLM 관측성(LLM observability)
- LLM 관측성(LLM observability)은 AI 애플리케이션이 프로덕션에서 하는 일, 즉 프롬프트, 응답, 도구 호출, 지연 시간, 토큰 사용량, 비용을 검색 가능한 트레이스로 기록하는 것입니다. 이를 통해 실패를 디버깅하고 시스템이 시간에 따라 어떻게 동작하는지 볼 수 있습니다.
- Temperature(샘플링)
- temperature는 언어 모델의 단어 선택이 얼마나 무작위적인지 조절하는 샘플링 설정입니다. 값이 낮으면 가장 가능성 높은 토큰을 선호하고, 값이 높으면 가능성이 낮은 토큰까지 선택이 퍼집니다.