고르는 방법
- 가져온 콘텐츠 속 프롬프트 인젝션: 맥락에 들어가기 전에 걸러내십시오.
- 정책과 주제 규칙: 규칙과 모델을 함께 쓰는 가드레일 프레임워크.
- 위험한 도구 호출 승인: 빠른 의사결정 모델이나 사람의 개입.
확인할 점
선택지를 가르는 질문을 중요한 순서대로 정리했습니다.
01
실제로 탐지하는 위험
각 선택지를 내가 마주한 위험에 대응시키십시오. 프롬프트 인젝션과 탈옥, 개인정보와 시스템 프롬프트 유출, 유해하거나 정책을 벗어난 콘텐츠, 주제를 벗어난 요청, 안전하지 않은 도구 사용입니다. OWASP Top 10 for LLM Applications는 쓸모 있는 점검표이며, 가드레일이 가장 직접적으로 다루는 것은 LLM01(프롬프트 인젝션), LLM02(민감 정보 노출), LLM06(과도한 권한)입니다. 유해성만 채점하는 도구는 검색된 웹 페이지에 숨은 인젝션을 막지 못합니다.
02
루프의 어디에서 검사할 수 있는가
입력 검사는 사용자가 보내는 것을, 출력 검사는 답을 걸러 냅니다. 에이전트에는 검색된 문서, 도구 입력, 도구 결과에 대한 검사도 필요합니다. NeMo Guardrails는 입력, 출력, 검색, 도구 실행에 대한 레일이 따로 있고, Lakera Guard는 이들 각각을 별도 요청으로 받습니다. 간접 인젝션은 검색과 도구 출력을 통해 들어오므로, 사용자 메시지만 보는 가드는 가장 흔한 에이전트 공격을 놓칩니다.
03
내 트래픽으로 측정한 오탐
모든 탐지기는 놓침과 잘못된 차단 사이에서 균형을 잡으며, 업체의 정확도 수치는 자체 테스트 세트로 측정한 것입니다. Lakera는 네 단계의 엄격도를 문서화하고 가장 엄격한 단계를 기본으로 둡니다. Meta의 Prompt Guard 2 카드는 애플리케이션 특화 프롬프트에서 정확도가 떨어진다고 경고합니다. 운영에 들어가기 전에 실제 정상 요청 수백 개와 알려진 공격 세트를 가드에 통과시키고, 임계값마다 차단율과 놓침률을 모두 기록하십시오.
04
검사당 지연 시간과 비용
모델 기반 검사마다 사용자가 답을 보기 전에 왕복이 하나 늘고, 에이전트는 턴마다 여러 번 돌릴 수 있습니다. 작은 분류기는 빠릅니다. Laya는 GPU에서 한 자릿수 밀리초, GLiNER2.5-Decide는 CPU에서 수백 밀리초를 보고하지만, 주 LLM에게 스스로 검사하게 하면 몇 초가 더해질 수 있습니다. 호스팅 API는 네트워크 시간이 더해지고 대개 요청당 과금되므로, 대화당이 아니라 에이전트 턴당 요청 수를 세십시오.
05
자체 호스팅인가 API인가
가드는 모든 프롬프트와 응답을 보므로 가장 민감한 데이터를 다룹니다. 오픈 프레임워크와 오픈 웨이트 모델(NeMo Guardrails, Guardrails AI, GLiNER2.5-Decide, Laya)은 내 인프라 안에서 돌아갑니다. Jev나 Lakera Guard 같은 호스팅 서비스는 도입 이 빠르지만 데이터 처리자가 하나 늘어나며, Lakera의 자체 호스팅 옵션에는 Enterprise 라이선스가 필요합니다.
06
정책을 정의하는 방식
어떤 선택지는 고정된 탐지기(인젝션, 개인정보, 모더레이션)를 제공하고, 어떤 선택지는 요청마다 자체 레이블이나 예/아니요 질문을 정의하게 해 '한도를 넘는 환불 요청인가' 같은 업무 규칙에 맞습니다. Jev와 Laya 같은 의사결정 모델은 유연하지만 질문을 직접 쓰고 시험해야 합니다. NeMo Guardrails 같은 프레임워크는 Colang으로 흐름 로직을 더하는데, 강력하지만 배워야 할 언어가 하나 더 생깁니다.
07
유지 관리와 소유권
이 분야는 빠르게 통합되고 있습니다. Guardrails AI는 2026년 8월 호스팅 Hub를 닫고 Harvey에 인수되었습니다. Protect AI의 LLM Guard는 2026년 7월 보관 처리되었습니다. Lakera는 이제 Check Point 소유입니다. 마지막 릴리스 날짜와 소유자의 동기를 확인하고, 가드를 교체할 수 있도록 자체 인터페이스 뒤에 두십시오.
선택지별 차이
가드레일은 세 계열로 나뉩니다. 프레임워크(NeMo Guardrails, Guardrails AI)는 LLM 호출을 검사 파이프라인으로 감싸고, 정규식과 개인정보 도구부터 Llama Guard 같은 안전 분류기까지 탐지기를 끼워 넣게 해 줍니다. 가장 넓은 범위를 다루지만 설정이 필요합니다. 호스팅 검사 API(Lakera Guard)는 관리되는 탐지기를 엔드포인트 하나 뒤에 두고 엄격도를 조정할 수 있게 하며 돌릴 모델이 없지만, 텍스트를 업체로 보내야 합니다. 작은 분류 및 의사결정 모델(GLiNER2.5-Decide, Laya, Jev)은 '이것이 인젝션 시도인가'나 '이 도구 호출을 승인해야 하는가' 같은 내가 정의한 질문에 임계값을 둘 수 있는 확률로 답합니다.
실제로 팀들은 이들을 조합합니다. 모든 입력과 검색된 문서에는 빠른 분류기나 API를, 업무 규칙과 도구 승인에는 프레임워크나 의사결정 모델을 두고, 그 아래에 최소 권한의 도구 권한을 깝니다. 어떤 가드도 모든 적응형 공격을 잡지 못하기 때문입니다.
도구 7개 비교
저희 평점 순입니다. 각 리뷰에서 출처, 가격, 전체 평가를 확인할 수 있습니다.
| 도구 | 평점 | 저희 평가 | 추천 대상 | 가격 |
|---|---|---|---|---|
| NVIDIA NeMo Guardrails저장소 | 4.0/5 | NeMo Guardrails는 에이전트를 위한 가장 폭넓은 오픈 정책 계층이며, 그 폭의 대가를 설정 작업, 지연 시간, 호환성 깨짐이 가득한 변경 기록으로 받습니다. | 모든 모델과 도구 호출 주위에 설정 가능한 정책 계층이 필요한 에이전트나 고객 대면 도우미를 만드는 팀. | Apache 2.0의 무료 오픈소스입니다. NVIDIA의 NemoGuard 모델과 NIM 마이크로서비스는 별도로 배포됩니다. |
| Lakera Guard (Check Point AI Guardrails)도구 | 4.0/5 | Lakera Guard는 API 호출 하나로 더할 수 있는 문서화가 잘된 프롬프트 인젝션 필터이지만, 월 10,000건을 넘으면 Check Point 기업 영업팀과 협상하게 됩니다. | 자체 분류기를 운영하지 않고 챗봇과 에이전트 앞에 프롬프트 인젝션과 데이터 유출용 관리형 검사를 두고 싶은 팀. | Community 무료: 월 10,000건 요청, 8k 토큰 프롬프트, SaaS만. Enterprise 견적제: 유연한 사용량, SaaS 또는 자체 호스팅, SSO, RBAC, SIEM 연동. 무료 등급 외에는 공개 가격이 없습니다. |
| Jev모델 | 3.8/5 | Jev는 타입이 정해진 결정을 하나의 제품으로 만들었지만, 이후 오픈 모델들이 점수와 가격 모두에서 Jev를 앞질렀습니다. | 자체 GPU를 운영하지 않고 텍스트 라우팅, 분류, 예/아니요 판정을 위한 저렴한 호스팅 API를 원하는 팀. | 입력 100만 토큰당 $0.042(10억 토큰당 $42)이며, 출력 토큰은 무료입니다. 장문 컨텍스트에서도 가격은 같습니다. Enterprise 한도는 영업팀을 통해 정합니다. |
| Splunk Agent Observability도구 | 3.7/5 | Galileo의 작은 판정 모델 덕분에 모든 에이전트 대화를 싸게 채점할 수 있지만, Splunk 아래에서는 영업 상담이 앞에 놓인 기업용 구매가 되었습니다. | 모든 에이전트 대화를 채점하고 런타임에 위험한 행동을 막고 싶은, 이미 Splunk Observability를 쓰는 대규모 조직. | Agent Observability는 연간 결제로 연 1.2M span당 월 $100부터이며, 연 Luna 토큰 500M개와 Luna 파인튜닝 5회가 포함됩니다. 추가 Luna 토큰과 더 긴 보관은 견적제입니다. Splunk Observability Cloud Free Edition(최대 15호스트, 만료 없음)에 에이전트 추적이 포함됩니다. Galileo의 예전 Free(월 5,000트레이스)와 Pro(연간 결제 월 $100, 50,000트레이스) 요금제는 더 이상 공개되지 않습니다. |
| GLiNER2.5-Decide모델 | 3.6/5 | GLiNER2.5-Decide는 빠르고 정직한 레이블 분류기로, Fastino의 과제에서는 잘하지만 다른 이들의 과제에서는 크게 뒤처집니다. | CPU만으로 저렴하게 의도 라우팅, 모더레이션, 스팸 판정을 해야 하고 자체 레이블로 파인튜닝할 수 있는 엔지니어. | 가중치와 라이브러리는 Apache 2.0으로 무료입니다. Fastino의 호스팅 파인튜닝 에이전트는 별도 제품입니다. |
| Laya모델 | 3.4/5 | 매우 빠르고 진정한 오픈 모델이지만, 그대로 쓰면 어려운 판단에서 찍기에 가깝습니다. Jev의 대체재가 아니라 파인튜닝할 기반입니다. | 자체 레이블 의사결정 데이터를 갖고 있고, 빠른 라우팅이나 가드레일용으로 파인튜닝할 작은 셀프 호스팅 모델을 원하는 팀. | 가중치와 Python 패키지는 Apache 2.0으로 무료입니다. 유료 호스팅 API는 없으며 직접 실행합니다. |
| Guardrails AI저장소 | 3.2/5 | 아이디어는 건전하지만 주인이 없어졌습니다. Apache 2.0 코드는 여전히 돌아가지만 수정을 병합하는 사람이 없고 호스팅 기능은 사라졌습니다. | 결정적 validator를 쓰고 있고 버전을 고정해 직접 패치할 수 있는 기존 사용자. | Apache 2.0 라이선스의 무료 오픈소스입니다. 호스팅 Hub 레지스트리와 무료 원격 추론은 2026년 8월 25일에 종료되었습니다. |
사양 비교
이 단계에서 중요한 사양입니다. 2026년 10월 23일에 확인했습니다. 도입 전에 공급업체 사이트에서 확인하세요.
| 도구 | 유형 | 검사 대상 | 배포 | 공개된 지연 시간 | 라이선스 |
|---|---|---|---|---|---|
| NVIDIA NeMo Guardrails | 레일 프레임워크(YAML + Colang) | 입력, 출력, 검색, 도구, 대화 | 자체 호스팅: 라이브러리, 서버 또는 NIM | 사용하는 레일에 따라 다름 | Apache 2.0 |
| Lakera Guard (Check Point AI Guardrails) | 호스팅 검사 API | 인젝션, 개인정보, 모더레이션, 링크, 도구 | SaaS, Enterprise에서 자체 호스팅 | 50 ms 미만(업체 주장) | 독점 |
| Jev | 호스팅 의사결정 모델 | 직접 정의하는 예/아니요, 선택, 점수 | API만 | 중앙값 267–316 ms | 독점 |
| GLiNER2.5-Decide | 제로샷 분류기(0.5B 미만) | 요청마다 정의하는 레이블 | 자체 호스팅, CPU 또는 GPU | 데스크톱 CPU에서 294 ms | Apache 2.0 |
| Laya | 오픈 의사결정 모델(421M) | 직접 정의하는 예/아니요, 선택, 점수 | 자체 호스팅, CPU 또는 GPU | 중앙값 5.8 ms | Apache 2.0 |
| Guardrails AI | 검증기 라이브러리 | 개인정보, 유해성, 구조, 맞춤 검사 | 자체 호스팅만(Hub 종료) | 공개되지 않음 | Apache 2.0 |
에이전트에 연결하기
Claude, ChatGPT, Cursor 같은 어시스턴트가 이 도구를 직접 쓸 수 있게 해 주는 MCP 서버입니다.
이 단계가 쓰이는 곳
- 문서와 대화하기: NVIDIA NeMo Guardrails부터 시작하겠습니다.
- 고객 지원 에이전트: NVIDIA NeMo Guardrails부터 시작하겠습니다.
- 코딩 에이전트: Jev MCP부터 시작하겠습니다.
- 장기 메모리를 갖춘 어시스턴트: NVIDIA NeMo Guardrails부터 시작하겠습니다.
- 이미지 생성 파이프라인: GLiNER2.5-Decide부터 시작하겠습니다.
- 동영상 제작: GLiNER2.5-Decide부터 시작하겠습니다.
- 음성 에이전트: NVIDIA NeMo Guardrails부터 시작하겠습니다.
- 비공개 온디바이스 AI: Laya MCP Server부터 시작하겠습니다.
- 문서 처리: NVIDIA NeMo Guardrails부터 시작하겠습니다.
- 직접 파인튜닝한 모델: NVIDIA NeMo Guardrails부터 시작하겠습니다.
- 워크플로 자동화: Jev MCP부터 시작하겠습니다.