promptfoo의 개요
promptfoo는 LLM 애플리케이션을 테스트하는 명령줄 도구이자 라이브러리입니다. 프롬프트, 제공사, 테스트 케이스를 YAML 파일에 기술하면 이를 실행하고 비교 행렬을 보여 줍니다.
레드팀도 합니다. 적대적 입력을 생성해 프롬프트 인젝션, 탈옥, 데이터 유출, 안전하지 않은 도구 사용을 찾습니다. OpenAI, Anthropic, Google, 오픈소스 제공사의 모델과 동작하며 CI 파이프라인에 들어맞습니다.
2026년 3월 9일 OpenAI는 promptfoo를 인수해 그 기술을 기업용 에이전트 플랫폼 OpenAI Frontier에 넣기로 합의했다고 발표했고, 프로젝트는 현재의 MIT 라이선스로 오픈소스를 유지할 것이라고 말했습니다. Promptfoo의 About 페이지는 이제 회사가 OpenAI의 일부라고 말하지만, 완료일은 공개되지 않았습니다. 저희는 거래 완료에 대한 공개 공지를 찾지 못했습니다.
promptfoo, 쓸 만한 가치가 있습니까?
promptfoo는 LLM 테스트가 없는 상태에서 CI의 테스트까지 가는 가장 짧은 길이며, 2026년 3월에 많은 팀이 이것으로 모델을 채점하는 바로 그 OpenAI에 인수되기로 합의했습니다. GitHub 스타는 약 26,500개이고, npm 패키지는 2026년 10월 25일 0.125.1에 이르렀으며, promptfoo 자체 사이트는 이제 OpenAI의 일부라고 말합니다. 설정은 YAML 설정 하나, 단언이 붙은 테스트 케이스 몇 개, 명령 하나입니다.
대부분의 평가 라이브러리와 구별되는 것은 레드팀입니다. 프롬프트 인젝션, 탈옥, 데이터 유출 공격을 생성하고 무엇이 통과했는지 보고합니다. 주의할 점: 그 공격이 만들어지는 곳입니다. 생성은 기본적으로 promptfoo의 호스팅 서비스에서 돌고, 무료 Community 등급은 레드팀을 월 10,000회 프로브로 제한합니다. 오프라인으로 쓰려면 PROMPTFOO_DISABLE_REMOTE_GENERATION을 설정하고 로컬 모델을 지정해야 합니다.
기본값은 살펴볼 만합니다. CLI는 PROMPTFOO_DISABLE_TELEMETRY를 설정하지 않으면 사용 텔레메트리를 보내며, 로그인했다면 프롬프트, 출력, 키는 아니지만 사용자 ID와 이메일 주소가 포함됩니다. 자체 호스팅 웹 뷰어는 명시적으로 프로덕션용이 아닙니다. 로컬 SQLite 데이터베이스를 쓰고, 내장 인증이 없으며, 복제본 둘 이상으로 돌리면 깨집니다. 공유 대시보드, SSO, 지속 모니터링은 가격이 공개되지 않은 Enterprise 기능입니다.
OpenAI는 promptfoo가 MIT 라이선스를 유지하고 다른 제공사도 계속 지원할 것이라고 말합니다. 경쟁사 Repello는 발표 두 달 뒤 CLI와 설정 스키마가 바뀌지 않았다고 보고하면서, 기업이 채점 도구를 채점 대상 업체가 소유하길 원하는지 물었습니다. 연구용 벤치마크라면 Inspect와 LM Evaluation Harness가 더 맞고, Python 팀에게는 Node.js 22가 필요한 도구보다 DeepEval의 pytest 방식이 더 자연스러울 수 있습니다.
제 역할을 하는 곳
RAG 지원 봇을 관리하는 백엔드 엔지니어
프롬프트나 모델이 바뀔 때 회귀 잡기
실제 고객 질문과 단언으로 된 promptfooconfig.yaml을 유지하고, 풀 리퀘스트마다 GitHub Actions에서 promptfoo eval을 돌립니다. 무료입니다. 실행마다 테스트 케이스 수 곱하기 비교하는 제공사 수만큼의 모델 토큰과 모델 채점 단언 비용이 듭니다.
도구를 쓰는 에이전트를 출시하는 핀테크의 애플리케이션 보안 책임자
출시 전에 에이전트의 프롬프트 인젝션과 데이터 유출을 레드팀으로 점검하기
스테이징 엔드포인트에 promptfoo redteam을 돌립니다. Community는 월 10,000회 프로브를 다룹니다. 원격 생성을 끄고 로컬 모델을 쓰지 않으면 공격 생성이 promptfoo의 호스팅 서비스를 거치며, 앱 설명이 기밀이라면 중요한 문제입니다.
LLM 앱 열두 개를 둔 은행의 AI 거버넌스 책임자
모든 앱에 걸쳐 반복 가능한 보안 테스트를 감사인에게 보이기
Enterprise나 On-Premise는 공유 대시보드, SSO, 검색 가능한 스캔 기록, 규정 준수 프레임워크 보고서를 더하며 가격은 견적제입니다. 구매에서의 질문은 이제 기능 목록이 아니라 OpenAI의 소유권과 로드맵입니다.
도입 전 확인할 점
- 설정
- Node.js 22.22 이상에서 npx promptfoo@latest init이나 전역 npm 설치를 합니다. 생성된 YAML로 첫 평가가 몇 분 안에 돕니다.
- 연동
- OpenAI, Anthropic, Google, 그리고 Ollama나 사용자 정의 HTTP 대상을 통한 로컬 모델을 포함한 제공사. GitHub Actions 같은 CI에서 실행. 별도의 코드 스캔 액션과 MCP 프록시 제품.
- 데이터와 개인정보
- 사용 텔레메트리가 기본으로 켜져 있으며, 로그인하면 사용자 ID와 이메일이 포함되지만 프롬프트나 출력은 포함되지 않습니다. 레드팀 생성은 PROMPTFOO_DISABLE_REMOTE_GENERATION을 설정하지 않으면 호스팅 서비스를 씁니다. 결과는 로컬 SQLite 데이터베이스에 보관됩니다. MIT 라이선스.
- 대규모 사용 시 비용
- CLI는 무료이고, 청구액은 대략 실행당 테스트 케이스 수 곱하기 제공사 수 곱하기 반복 횟수만큼의 모델 토큰과 모델 채점 단언입니다. 월 10,000회 프로브를 넘는 레드팀, 공유 대시보드, SSO에는 견적제 Enterprise가 필요합니다.
- 제한
- 열린 이슈와 풀 리퀘스트 약 840개. 자체 호스팅 서버는 복제본 하나를 넘어 확장할 수 없고 인증이 없음. 학술 벤치마크 실행기로 설계되지 않음.
좋은 점
- 명령 하나로 CI에서 도는 YAML 테스트
- 인젝션과 데이터 유출을 위한 폭넓은 레드팀 플러그인
- OpenAI, Anthropic, Google, 로컬 모델과 동작
- MIT 라이선스
아쉬운 점
- 모델 업체인 OpenAI 소유
- 텔레메트리와 호스팅 공격 생성이 기본으로 켜짐
- 자체 호스팅 뷰어에 인증과 확장성 없음
- Node.js 22.22 이상 필요
추천 대상
CI에서 회귀 테스트와 보안 스캔을 원하는, LLM 앱을 출시하는 팀.
promptfoo 대안
promptfoo: 자주 묻는 질문
- promptfoo, 쓸 만한 가치가 있습니까?
- promptfoo는 LLM 회귀 테스트와 레드팀 스캔을 YAML 파일 하나와 CI 명령 하나로 바꿉니다. 지켜볼 부분은 새 소유자입니다. 평점은 5점 만점에 4.5점입니다.
- promptfoo의 가격은 얼마입니까?
- CLI는 무료 오픈소스(MIT)이며, Community 사용에는 월 10,000회 프로브까지의 레드팀이 포함됩니다. Enterprise(관리형 클라우드)와 On-Premise는 견적 문의입니다.
- promptfoo의 단점은 무엇입니까?
- 모델 업체인 OpenAI 소유; 텔레메트리와 호스팅 공격 생성이 기본으로 켜짐; 자체 호스팅 뷰어에 인증과 확장성 없음; Node.js 22.22 이상 필요.
- promptfoo에 적합한 사람은 누구입니까?
- CI에서 회귀 테스트와 보안 스캔을 원하는, LLM 앱을 출시하는 팀.
- 팀이나 프로덕션 환경에서 promptfoo의 비용은 얼마입니까?
- CLI는 무료이고, 청구액은 대략 실행당 테스트 케이스 수 곱하기 제공사 수 곱하기 반복 횟수만큼의 모델 토큰과 모델 채점 단언입니다. 월 10,000회 프로브를 넘는 레드팀, 공유 대시보드, SSO에는 견적제 Enterprise가 필요합니다.
- promptfoo에 회사 데이터를 맡겨도 안전합니까?
- 사용 텔레메트리가 기본으로 켜져 있으며, 로그인하면 사용자 ID와 이메일이 포함되지만 프롬프트나 출력은 포함되지 않습니다. 레드팀 생성은 PROMPTFOO_DISABLE_REMOTE_GENERATION을 설정하지 않으면 호스팅 서비스를 씁니다. 결과는 로컬 SQLite 데이터베이스에 보관됩니다. MIT 라이선스.
- promptfoo의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 DeepEval, Inspect 및 Ragas입니다.
답변 확인일: 2026년 10월 26일.
promptfoo 개발사입니까? 이 평점을 사이트에 표시하십시오
