Inspect의 개요
Inspect는 대규모 언어 모델과 에이전트를 위한 평가 프레임워크로, 영국 AI Security Institute가 비영리 단체 Meridian Labs와 함께 개발했습니다. 평가는 Python으로 작성하며, 데이터셋, solver(모델에 프롬프트를 주거나 에이전트로 실행하는 방식), scorer로 이루어진 task 형태입니다.
도구 사용, 멀티턴 에이전트, Docker 안의 샌드박스 실행을 지원하며, Kubernetes, Modal, EC2, Proxmox 등은 확장으로 쓸 수 있습니다. 20개가 넘는 모델 제공자와, Hugging Face, vLLM, SGLang을 통한 로컬 모델을 지원하고, 로그 뷰어(`inspect view`)와 VS Code 확장을 제공합니다. 별도 컬렉션에는 바로 쓸 수 있는 평가가 200개 넘게 있습니다.
버전 0.3.283은 2026년 10월 21일에 공개되었습니다.
Inspect, 쓸 만한 가치가 있습니까?
Inspect는 제품팀의 테스트 러너라기보다 AI 안전 분야의 공용 하네스이며, 약 3,070개인 GitHub 스타 수는 그 위상을 크게 과소평가합니다. Meridian Labs에 따르면 Inspect는 UK AISI, US CAISI, EU AI Office, 일본과 한국의 연구소, 그리고 METR, Apollo, Epoch, RAND의 표준 프레임워크입니다. 이 목록은 자체 발표입니다. 변화도 빠릅니다. 2026년 10월 9일부터 21일 사이에 릴리스가 여섯 번 나왔고, 모두 아직 0.3.x입니다.
이 설계는 어려운 평가에서 진가를 발휘합니다. 다단계 에이전트, 도구 호출, 모델 채점, 긴 대화 기록이 모두 일급 기능이며, 로그 뷰어로 모든 샘플의 모든 메시지를 한 단계씩 살펴볼 수 있습니다. 동반 컬렉션의 평가 200여 개 덕분에 연구소는 표준 벤치마크와 자체 과제를 하나의 파이프라인으로 돌릴 수 있습니다.
샌드박싱은 주의가 필요합니다. 내장된 것은 `docker`와 `local`뿐이며, `local`은 전혀 샌드박스가 아니라 사용자 계정으로 실행됩니다. 자동 생성되는 Docker 설정은 `network_mode: none`을 지정하지만, 직접 compose 파일을 넣으면 이 설정이 빠지고 Compose의 기본 네트워크는 인터넷에 닿습니다. 쓰기 가능한 호스트 마운트는 직접 허용하지 않는 한 막혀 있습니다. 10 MB exec 한도를 넘는 출력은 오류 없이 앞부분이 잘리며, 이 때문에 scorer가 보는 내용이 조용히 바뀔 수 있습니다.
CI에서 프롬프트에 대한 검증을 하려는 제품팀이라면 promptfoo의 설정 파일이나 DeepEval의 pytest 방식이 더 적은 코드로 목적을 이룹니다. Inspect는 Python을 전제로 하고, 호스팅 대시보드도 유료 등급도 없으며, 커뮤니티는 전문적이지만 더 작습니다.
CASRAI의 안내서는 기억해 둘 만한 점을 짚습니다. 공용 하네스는 서로 다른 기관의 결과를 비교할 수 있게 해 주지만, 그것은 인프라이지 보증이 아닙니다. 그 숫자가 무엇을 뜻하는지는 여전히 그 안에 작성한 task가 결정합니다.
제 역할을 하는 곳
독립 평가 기관의 안전성 연구자
여러 프런티어 API를 상대로 capture-the-flag 방식의 에이전트 평가 돌리기
샘플마다 Docker 샌드박스를 두는 task를 정의하고 스크립트 하나로 여러 제공자에 걸쳐 실행합니다. Docker는 기본으로 머신 프로세서 수의 최대 두 배까지 샌드박스를 돌리므로, CPU가 많은 머신일수록 실행이 짧아집니다. 비용은 API 토큰과 그 머신입니다.
모델 개발사의 ML 엔지니어
파인튜닝한 오픈 모델을 표준 벤치마크에서 API 기준 모델과 비교하기
오픈 모델을 vLLM으로 서빙하고, Inspect가 두 모델을 모두 가리키게 한 뒤, 200여 개 컬렉션에서 벤치마크를 가져옵니다. 두 모델에 하네스 하나를 쓰므로 둘 사이의 프롬프트 형식 차이가 사라집니다. 비용은 로컬 모델의 GPU 시간입니다.
은행의 AI 거버넌스 책임자
사내 어시스턴트의 모델 리스크 검토를 위한 증거 만들기
데이터 과학팀이 은행의 테스트 케이스를 Inspect task로 작성하게 하고, 모든 프롬프트, 응답, 점수가 기록된 로그를 보관합니다. 무료로 쓸 수 있지만 벤더 지원 계약이 없으므로 하네스는 은행이 직접 책임집니다.
도입 전 확인할 점
- 설정
- `pip install inspect-ai`와 제공자 SDK(예: `pip install anthropic`), API 키가 필요합니다. 첫 평가는 짧은 Python 파일로 `inspect eval`을 실행하면 됩니다. 샌드박스 에이전트 task에는 Docker가 필요합니다.
- 연동
- 20개 이상의 모델 제공자, Hugging Face, vLLM, SGLang을 통한 로컬 추론. Docker 샌드박스는 내장이며, k8s, Daytona, Modal, EC2, Proxmox, Vagrant, OpenShell은 확장 패키지로 제공됩니다. ControlArena와 해석 가능성 라이브러리가 Inspect 위에 만들어져 있습니다.
- 데이터와 개인정보
- 사용자 머신에서 실행됩니다. 프롬프트는 설정한 모델 제공자로만 가고, 로그는 로컬에 기록됩니다. 문서에는 텔레메트리 언급이 없습니다. MIT 라이선스. local 샌드박스는 에이전트에게 사용자 계정의 접근 권한을 주며, 사용자 정의 도구와 scorer는 샌드박스가 인터넷에 닿지 못할 때도 인터넷에 닿을 수 있습니다.
- 대규모 사용 시 비용
- 유료 또는 호스팅 에디션은 없습니다. 비용은 모든 샘플과 채점 호출에 드는 모델 토큰, 그리고 샌드박스용 컴퓨팅이며, 대규모 평가 세트는 Kubernetes나 Modal 확장으로 수평 확장합니다.
- 제한
- 열린 이슈와 풀 리퀘스트 약 460개. 매우 잦은 릴리스와 0.x 버전 체계. 파일 읽기는 100 MB, exec 출력은 10 MB로 제한되며 조용히 잘립니다. Docker 샌드박스에는 기본 CPU나 메모리 제한이 없습니다.
좋은 점
- 에이전트, 도구 사용, 모델 채점을 위해 설계됨
- 기본으로 네트워크가 꺼진 Docker 샌드박스와 k8s 및 클라우드 확장
- 단계별로 살펴보는 로그 뷰어와 VS Code 확장
- 바로 쓸 수 있는 평가 200개 이상, 여러 정부 안전 연구소에서 사용
아쉬운 점
- Python 전용이며 CI 지향 도구보다 설정이 많음
- 사용자 정의 compose 파일이 네트워크 접근을 조용히 다시 켬
- 아직 0.x이고 며칠마다 릴리스
- promptfoo나 DeepEval보다 작은 커뮤니티
추천 대상
에이전트와 역량 평가를 수행하는 연구자와 안전팀.
Inspect 대안
Inspect: 자주 묻는 질문
- Inspect, 쓸 만한 가치가 있습니까?
- Inspect는 정부와 독립 기관의 AI 안전성 테스트가 함께 쓰는 하네스입니다. CI에서 프롬프트를 점검하려는 제품팀에게는 필요 이상으로 큰 프레임워크입니다. 평점은 5점 만점에 4.4점입니다.
- Inspect의 가격은 얼마입니까?
- MIT 라이선스의 무료 오픈소스입니다.
- Inspect의 단점은 무엇입니까?
- Python 전용이며 CI 지향 도구보다 설정이 많음; 사용자 정의 compose 파일이 네트워크 접근을 조용히 다시 켬; 아직 0.x이고 며칠마다 릴리스; promptfoo나 DeepEval보다 작은 커뮤니티.
- Inspect에 적합한 사람은 누구입니까?
- 에이전트와 역량 평가를 수행하는 연구자와 안전팀.
- 팀이나 프로덕션 환경에서 Inspect의 비용은 얼마입니까?
- 유료 또는 호스팅 에디션은 없습니다. 비용은 모든 샘플과 채점 호출에 드는 모델 토큰, 그리고 샌드박스용 컴퓨팅이며, 대규모 평가 세트는 Kubernetes나 Modal 확장으로 수평 확장합니다.
- Inspect에 회사 데이터를 맡겨도 안전합니까?
- 사용자 머신에서 실행됩니다. 프롬프트는 설정한 모델 제공자로만 가고, 로그는 로컬에 기록됩니다. 문서에는 텔레메트리 언급이 없습니다. MIT 라이선스. local 샌드박스는 에이전트에게 사용자 계정의 접근 권한을 주며, 사용자 정의 도구와 scorer는 샌드박스가 인터넷에 닿지 못할 때도 인터넷에 닿을 수 있습니다.
- Inspect의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 LM Evaluation Harness, promptfoo 및 DeepEval입니다.
답변 확인일: 2026년 10월 23일.
Inspect 개발사입니까? 이 평점을 사이트에 표시하십시오
