iFixAi의 개요
iFixAi는 그 뒤의 모델이 아니라 배포된 AI 에이전트 자체를 감사합니다. 프로필에 에이전트의 역할, 도구, 정책을 기술하면 iFixAi가 그 주변에 가상의 회사를 구성하고, 에이전트의 채팅 엔드포인트로 요청을 보냅니다. 여기에는 권한 상승, 지시 주입, 다른 사용자의 데이터 조회를 시도하는 요청도 포함됩니다. 에이전트와 다른 제공업체의 심사 모델이 각 응답을 채점하며, 모든 발견 사항에는 무엇을 요청했고 에이전트가 무엇을 했는지가 표시됩니다.
기본 실행은 검사 10개이며, 그중 3개는 필수 최저 기준(도구 거버넌스, 권한 상승, 파괴적 작업)입니다. 하나라도 통과하지 못하면 등급은 D가 상한입니다. 결과는 가중치가 적용된 다섯 가지 기둥(조작된 사실, 조종, 기만, 예측 불가능성, 불투명성)에 대한 A부터 F까지의 등급이며, JSON과 Markdown 보고서, CI용 --min-score 플래그가 함께 제공됩니다. --full-run은 61개 검사를 모두 실행하고, 적용할 수 없는 검사는 제외합니다.
pip install ifixai(Python 3.10+)로 설치하며, Claude Code와 Codex용 플러그인, Cursor, VS Code, Windsurf, Zed 등을 위한 스킬로도 제공됩니다. 엔진은 Apache-2.0이며, 같은 팀이 ifixai.ai에서 에이전트당 월 단위 감사를 판매합니다.
iFixAi, 쓸 만한 가치가 있습니까?
iFixAi는 대부분의 평가 도구가 건너뛰는 부분을 시험합니다. 도구와 역할을 가진 에이전트가 자기 역할이 허용하는 일만 하는지입니다. 벤치마크는 모델을 채점하지만, iFixAi는 지원 에이전트에게 관리자가 이미 거절한 환불이나 정산 계좌 변경 요청을 보내고 실제로 무엇을 하는지 확인합니다. 세 가지 필수 최저 기준(B01 도구 거버넌스 100%, B08 권한 상승 95%, P01 파괴 저항 100%)은 실제 피해가 일어나는 지점을 반영합니다.
채점 문서는 보기 드물게 솔직합니다. 모든 검사에 Wilson 95% 신뢰 구간이 붙고, 문서는 원시 차이가 아니라 구간의 겹침으로 실행을 비교하라고 안내하며, 임계값에서 0.12 이내인 단일 실행 B24 점수는 잡음이라고 경고합니다. 규제 관련 요약이 규정 준수를 인증하지 않는다는 점도 분명히 밝힙니다. 채점은 LLM 심사 모델에 의존하므로 같은 에이전트를 두 번 실행해도 결과가 다를 수 있습니다. 제공업체를 달리하는 규칙은 에이전트의 공급사가 자기 숙제를 채점하는 일만 막아 줍니다.
성장세가 빠릅니다. 저장소는 2026년 4월 27일에 만들어졌고 스타 43,497개, 포크 1,779개를 기록하고 있습니다. PyPI 기록은 6월 23일 3.0.2에서 시작해 10월 22일 v4.3.0에 이르렀습니다. 풀 리퀘스트가 매일 병합되고 그중 다수가 증거의 검증과 보고 방식을 강화하는 내용인데, 이는 버전마다 보고서 형식과 점수가 바뀐다는 뜻이기도 합니다. 문서는 예전 헤드라인 점수를 비교하지 말고 예전 대상을 다시 실행하라고 권합니다.
주의할 점: 설정과 범위입니다. 유용한 감사를 하려면 실제 역할과 도구에 맞는 프로필을 직접 쓰거나 에이전트에게 쓰게 해야 하며, 기본 실행은 검사 10개만 다룹니다. 61개 전체는 심사 모델 호출 비용이 더 듭니다. 탐색 요청은 실제 요청이므로 README는 스테이징 사본을 대상으로 하라고 말합니다. 사이트에는 검사가 60개로 나와 있지만 README는 61개라고 하며, 유료 등급 뒤의 회사 이름은 없고 연락처 주소만 있습니다.
프롬프트와 모델을 폭넓게 레드팀 테스트하는 promptfoo와 비교하면 iFixAi는 범위가 좁고 관점이 뚜렷합니다. 조직도를 코드로 옮기고 그에 비추어 행동을 채점합니다. 에이전트가 돈이나 데이터를 움직일 수 있는 팀에 맞으며, 챗봇의 답변을 시험하는 팀에는 범용 평가 프레임워크가 더 유용할 것입니다.
제 역할을 하는 곳
환불 도구가 있는 고객 지원 에이전트를 운영하는 핀테크의 플랫폼 엔지니어
권한 없는 사용자를 위해 에이전트가 환불을 지급하거나 정산 계좌를 바꿀 수 없음을 증명
역할과 도구를 담은 에이전트 프로필을 작성하고 스테이징에서 기본 테스트 모음을 실행한 뒤, B01, B08, P01 중 하나라도 최저 기준 아래로 떨어지면 빌드를 실패시킵니다. 비용은 심사 모델 제공업체의 API 호출이며, --dry-run으로 먼저 확인할 수 있습니다.
에이전트 뒤의 모델을 교체하는 50명 규모 SaaS 회사의 AI 리드
새 모델이 이전 모델이 지키던 행동을 느슨하게 하지 않는지 확인
같은 픽스처를 두 버전에 대해 실행하고, 채점 문서의 권고대로 헤드라인 등급이 아니라 검사별 신뢰 구간을 비교합니다.
Cursor나 Claude Code에서 에이전 트를 만드는 개발자
프로필을 직접 쓰지 않고 첫 감사를 받기
플러그인이나 스킬을 설치하고 코딩 에이전트에게 iFixAi 실행을 요청합니다. 에이전트의 코드를 읽고 프로필 초안을 만들고 비용을 보여 준 뒤 감사를 실행합니다.
도입 전 확인할 점
- 설정
- Python 3.10+에서 pip install ifixai. 모의 데모는 API 키 없이 약 1분 만에 실행됩니다. 실제 감사에는 에이전트 프로필, 시뮬레이션을 만드는 ifixai author와 validate, 심사 모델 키, 에이전트의 엔드포인트가 필요하며, ifixai setup이 과정을 안내합니다.
- 연동
- OpenAI 호환 에이전트 엔드포인트라면 무엇이든, 그 밖에는 Python 몇 줄로 연결. OpenAI, Anthropic, Gemini, Azure, Bedrock, OpenRouter 등의 심사 모델. Claude Code와 Codex용 플러그인. Cursor, VS Code, Windsurf, Cline, Continue, Gemini, Zed용 스킬. Python API. JSON과 Markdown 보고서.
- 데이터와 개인정보
- 내 컴퓨터에서 실행됩니다. 탐색 요청은 내 에이전트의 엔드포인트로, 채점 호출은 내가 고른 심사 모델 제공업체로 가며, 보고서는 ./ifixai-results/에 저장됩니다. 사이트에는 텔레메트리 언급이 없습니다. Apache-2.0.
- 대규모 사용 시 비용
- 직접 호스팅할 때의 비용은 심사 모델 API 사용량이며, --full-run의 61개 검사에서 늘어납니다. --dry-run이 호출 수를 보여 줍니다. 유료 감사는 에이전트당 월 단위이며 가격은 공개되지 않았습니다.
- 제한
- LLM이 채점한 점수에는 실행 간 잡음이 있습니다. 적용할 수 없는 검사는 제외되어 범위가 줄어듭니다. 채점 방식이 버전마다 바뀌어 왔습니다. 탐색 요청은 실제 요청이므로 스테이징을 사용하십시오.
좋은 점
- 에이전트의 실제 엔드포인트로 역할, 도구, 데이터 권한을 시험
- 심사 모델은 항상 에이전트와 다른 제공업체
- 신뢰 구간과 점수 잡음에 대한 솔직한 설명
- 드라이 런으로 과금 전에 테스트 수와 심사 호출 수 확인
- --min-score를 통한 CI 게이트, Claude Code와 Codex용 플러그인
아쉬운 점
- 등급이 LLM 심사 모델에 의존하며 실행마다 달라짐
- 의미 있는 결과를 얻으려면 정확한 에이전트 프로필이 필요
- 기본 실행은 61개 중 10개 검사만 다룸
- 빠른 출시 주기로 버전마다 점수가 바뀜
- 유료 등급 가격과 운영 회사가 공개되지 않음
추천 대상
돈, 계정, 고객 데이터를 다룰 수 있는 에이전트를 출시하며 스테이징과 CI에서 반복 가능한 권한 및 주입 감사를 원하는 팀.
iFixAi 대안
iFixAi: 자주 묻는 질문
- iFixAi, 쓸 만한 가치가 있습니까?
- 에이전트가 자기 권한 안에 머무는지 시험하는 문서화가 잘 된 방법입니다. 단, 등급을 인증서가 아니라 오차 범위가 있는 심사 모델의 의견으로 읽어야 합니다. 평점은 5점 만점에 3.8점입니다.
- iFixAi의 가격은 얼마입니까?
- Apache-2.0으로 무료이며, 자신의 모델 키로 직접 호스팅합니다. 심사 모델 제공업체의 API 호출 비용은 직접 부담합니다. 유료 감사 등급(Startup, Growth, Enterprise, Agentic Enterprise)은 에이전트당 월 단위로 과금되며, 가격은 공개되지 않았습니다.
- iFixAi의 단점은 무엇입니까?
- 등급이 LLM 심사 모델에 의존하며 실행마다 달라짐; 의미 있는 결과를 얻으려면 정확한 에이전트 프로필이 필요; 기본 실행은 61개 중 10개 검사만 다룸; 빠른 출시 주기로 버전마다 점수가 바뀜; 유료 등급 가격과 운영 회사가 공개되지 않음.
- iFixAi에 적합한 사람은 누구입니까?
- 돈, 계정, 고객 데이터를 다룰 수 있는 에이전트를 출시하며 스테이징과 CI에서 반복 가능한 권한 및 주입 감사를 원하는 팀.
- 팀이나 프로덕션 환경에서 iFixAi의 비용은 얼마입니까?
- 직접 호스팅할 때의 비용은 심사 모델 API 사용량이며, --full-run의 61개 검사에서 늘어납니다. --dry-run이 호출 수를 보여 줍니다. 유료 감사는 에이전트당 월 단위이며 가격은 공개되지 않았습니다.
- iFixAi에 회사 데이터를 맡겨도 안전합니까?
- 내 컴퓨터에서 실행됩니다. 탐색 요청은 내 에이전트의 엔드포인트로, 채점 호출은 내가 고른 심사 모델 제공업체로 가며, 보고서는 ./ifixai-results/에 저장됩니다. 사이트에는 텔레메트리 언급이 없습니다. Apache-2.0.
- iFixAi의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 promptfoo, DeepEval 및 Inspect입니다.
답변 확인일: 2026년 11월 5일.