본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

LlamaFirewall

에이전트를 위한 Meta의 공개 가드레일 프레임워크입니다. 인젝션 분류기, 추론 감사기, 코드 스캐너를 하나의 정책 엔진으로 묶습니다.

리뷰어: Sheela · 업데이트

GitHub에서 보기 오픈 소스

평점

3.8/5

함께 나온 논문은 계층형 에이전트 가드레일을 뒷받침하는 가장 설득력 있는 공개 자료지만, 패키지는 2025년 5월 이후 새 버전이 없고 가장 강한 검사는 대형 호스팅 모델에 의존합니다.

LlamaFirewall의 개요

LlamaFirewall은 챗봇이나 에이전트의 처리 흐름에서 정한 지점마다 보안 스캐너를 실행하는 Meta의 Python 프레임워크입니다. 대상은 사용자 입력, 웹 페이지나 도구 출력처럼 신뢰할 수 없는 콘텐츠, 에이전트의 추론, 그리고 에이전트가 작성하는 코드입니다. PurpleLlama 저장소 안에 Meta의 Llama Guard 모델, CyberSecEval 벤치마크와 함께 있습니다.

스캐너는 네 종류입니다. PromptGuard 2는 직접적인 프롬프트 인젝션과 탈옥을 잡는 작은 BERT 계열 분류기입니다. AlignmentCheck는 대형 모델에게 에이전트의 사고 과정을 읽게 해 목표 탈취나 간접 인젝션을 표시합니다. CodeShield는 생성된 코드를 위한 정적 분석기로, 8개 언어에 걸쳐 Semgrep과 정규식 규칙을 씁니다. 정규식 스캐너와 사용자 정의 LLM 프롬프트 스캐너는 비밀 정보와 내부 규칙을 다룹니다.

Python 3.10 이상에서 pip install llamafirewall로 설치하고, 가드 모델은 Hugging Face에서 내려받습니다(Llama 모델 접근 권한이 필요합니다). OpenAI Agents SDK와 LangChain 예제가 있습니다. AlignmentCheck는 기본적으로 Together AI를 통해 호스팅 모델을 호출하므로 Together API 키가 필요합니다. 코드는 MIT 라이선스이며, PyPI 최신 버전 1.0.3은 2025년 5월 29일에 나왔습니다.

LlamaFirewall, 쓸 만한 가치가 있습니까?

LlamaFirewall의 가치는 함께 공개된 근거에 있습니다. Meta의 논문은 각 계층을 AgentDojo에서 측정했습니다. AgentDojo는 공격자가 도구에 지시를 심어 두는 동안 에이전트가 작업을 수행하는 벤치마크입니다. 보호가 없을 때 공격의 17.6%가 성공했습니다. PromptGuard 2 86M만으로 이 비율이 7.5%로 떨어졌고 작업 완료율은 거의 줄지 않았습니다. Llama 4 Maverick에서 돌린 AlignmentCheck는 2.89%로 낮췄고, 둘을 함께 쓰면 1.75%로 90% 넘게 줄었습니다. 그동안 작업 성공률은 47.7%에서 42.7%로 내려갔습니다.

이 트레이드오프가 쓸모 있는 교훈입니다. 저렴한 분류기는 빠릅니다. A100에서 512토큰 기준으로 22M 모델은 19.3 ms, 86M은 92.4 ms입니다. 하지만 인젝션처럼 보이는 텍스트만 봅니다. AlignmentCheck는 에이전트가 무엇을 하려는지 읽기 때문에 더 교묘한 탈취도 잡지만 대가가 있습니다. 논문의 예시 기록을 보면 단계마다 약 860 ms와 1,490 ms가 걸리고, 에이전트의 추론을 설정한 모델 제공업체로 보냅니다.

CodeShield는 눈에 덜 띄는 강점입니다. Meta는 손으로 라벨을 단 완성 결과에서 정밀도 96%, 재현율 79%를 보고하며, 입력의 약 90%는 약 60 ms 걸리는 첫 단계에서 끝납니다. 코드를 쓰고 실행하는 코딩 에이전트에게는 50개가 넘는 취약점 유형을 싸게 확인하는 수단입니다.

주의할 점: 이것은 유지보수 단계에 들어간 연구 공개물입니다. PyPI 패키지는 2025년 5월의 1.0.3에 머물러 있고, 폴더의 최근 커밋은 타입 검사와 의존성의 자동 수정입니다. PurpleLlama의 최상위 README에는 설명조차 없습니다. 스캐너는 견실하지만, 연결 코드와 업그레이드는 직접 관리해야 한다고 보셔야 합니다.

결론: LlamaFirewall은 참조 설계로 볼 때 가장 쓸모가 있습니다. PromptGuard 2와 CodeShield 계층은 그대로 쓸 만하고, AlignmentCheck의 아이디어는 이미 비용을 내고 있는 대형 모델로 따라 할 만합니다.

제 역할을 하는 곳

  • OpenAI Agents SDK로 만든 브라우징 에이전트를 운영하는 플랫폼 엔지니어

    가져온 페이지에 숨은 지시가 에이전트를 엉뚱한 방향으로 돌리지 못하게 막기

    Meta의 OpenAI Agents 데모를 바탕으로 모든 도구 결과에 PromptGuard 2를, 각 단계에 AlignmentCheck를 연결합니다. 분류기는 수십 밀리초, 정렬 감사는 단계당 약 1초가 더해지고 Together AI 토큰 비용도 든다고 보셔야 합니다.

  • 작성한 코드를 바로 실행하는 코딩 에이전트를 둔 개발자 도구 팀

    에이전트가 실행하거나 커밋하기 전에 안전하지 않은 코드 잡기

    생성된 모든 코드 조각에 CodeShield를 돌립니다. 대부분의 입력은 약 60 ms 만에 첫 단계를 통과하고, 표시된 코드는 더 느린 두 번째 단계나 사람에게 넘어갑니다.

  • 에이전트 가드레일 기준을 작성하는 은행의 보안 아키텍트

    어떤 검사를 어디에 둘지 숫자로 설명하기

    논문의 AgentDojo 결과, 즉 보호 없이 공격 성공률 17.6%, 두 계층을 쓰면 1.75%라는 수치와 작업 완료율이 5포인트 떨어진다는 점을 인용해 각 계층에 허용할 비용을 정합니다.

도입 전 확인할 점

설정
Python 3.10+에서 pip install llamafirewall을 실행하고, Hugging Face에서 Meta의 Llama 라이선스에 동의한 뒤 llamafirewall configure로 가드 모델을 받고, AlignmentCheck용으로 TOGETHER_API_KEY를 설정합니다.
연동
역할별 스캐너 정책을 갖춘 Python API, OpenAI Agents SDK와 LangChain 또는 LangGraph 에이전트 예제, 사용자 정의 정규식 스캐너와 LLM 프롬프트 스캐너.
데이터와 개인정보
PromptGuard 2, CodeShield, 정규식 스캐너는 사용자의 컴퓨터에서 실행됩니다. AlignmentCheck는 대화와 에이전트의 추론을 설정한 모델 제공업체(기본값은 Together AI)로 보냅니다.
대규모 사용 시 비용
프레임워크는 무료입니다. 분류기와 CodeShield 검사는 로컬 CPU나 GPU 시간을 씁니다. AlignmentCheck는 감사하는 단계마다 대형 모델을 한 번 호출하며 비용은 제공업체가 청구합니다.
제한
PromptGuard 2는 한 번에 512토큰을 읽습니다. 논문은 AlignmentCheck를 실험적 기능으로 봅니다. 패키지 마지막 버전은 2025년 5월이며 최근 커밋은 자동 유지보수뿐입니다.

좋은 점

  • 계층별, 조합별 AgentDojo 수치 공개
  • 입력, 도구 출력, 에이전트 추론, 생성 코드에 대한 스캐너
  • CodeShield: Meta 라벨 데이터에서 정밀도 96%, 첫 단계 약 60 ms
  • MIT 라이선스, OpenAI Agents SDK와 LangChain 예제

아쉬운 점

  • 2025년 5월 1.0.3 이후 PyPI 새 버전 없음
  • AlignmentCheck는 기본적으로 대형 호스팅 모델과 Together API 키가 필요
  • AlignmentCheck는 에이전트 단계마다 약 1초를 더함
  • PurpleLlama 최상위 README에 문서화되지 않음

추천 대상

도구를 쓰는 에이전트를 만들고, 직접 호스팅할 수 있는 계층형 보호를 원하며, 다듬어지지 않은 프레임워크를 관리할 수 있는 팀.

LlamaFirewall 대안

LlamaFirewall: 자주 묻는 질문

LlamaFirewall, 쓸 만한 가치가 있습니까?
함께 나온 논문은 계층형 에이전트 가드레일을 뒷받침하는 가장 설득력 있는 공개 자료지만, 패키지는 2025년 5월 이후 새 버전이 없고 가장 강한 검사는 대형 호스팅 모델에 의존합니다. 평점은 5점 만점에 3.8점입니다.
LlamaFirewall의 가격은 얼마입니까?
MIT 라이선스로 무료입니다. PromptGuard 2와 CodeShield는 로컬에서 실행됩니다. AlignmentCheck는 기본적으로 Together AI를 통해 호스팅 모델을 호출하며 비용은 Together가 청구합니다.
LlamaFirewall의 단점은 무엇입니까?
2025년 5월 1.0.3 이후 PyPI 새 버전 없음; AlignmentCheck는 기본적으로 대형 호스팅 모델과 Together API 키가 필요; AlignmentCheck는 에이전트 단계마다 약 1초를 더함; PurpleLlama 최상위 README에 문서화되지 않음.
LlamaFirewall에 적합한 사람은 누구입니까?
도구를 쓰는 에이전트를 만들고, 직접 호스팅할 수 있는 계층형 보호를 원하며, 다듬어지지 않은 프레임워크를 관리할 수 있는 팀.
팀이나 프로덕션 환경에서 LlamaFirewall의 비용은 얼마입니까?
프레임워크는 무료입니다. 분류기와 CodeShield 검사는 로컬 CPU나 GPU 시간을 씁니다. AlignmentCheck는 감사하는 단계마다 대형 모델을 한 번 호출하며 비용은 제공업체가 청구합니다.
LlamaFirewall에 회사 데이터를 맡겨도 안전합니까?
PromptGuard 2, CodeShield, 정규식 스캐너는 사용자의 컴퓨터에서 실행됩니다. AlignmentCheck는 대화와 에이전트의 추론을 설정한 모델 제공업체(기본값은 Together AI)로 보냅니다.
LlamaFirewall의 가장 좋은 대안은 무엇입니까?
저희가 리뷰한 것 중 가장 가까운 대안은 NVIDIA NeMo Guardrails 및 Guardrails AI입니다.

답변 확인일: 2026년 11월 6일.