본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

프롬프트 인젝션(Prompt injection)

프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.

다른 이름: indirect prompt injection, direct prompt injection

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

LLM은 지시와 데이터를 같은 통로, 즉 텍스트로 읽습니다. 모델은 개발자의 시스템 프롬프트와, 요약을 요청받은 이메일에 공격자가 심어 둔 문장을 확실하게 구분하지 못합니다. OWASP는 LLM 애플리케이션 Top 10에서 프롬프트 인젝션을 첫 번째로 꼽습니다.

직접과 간접

직접 인젝션에서는 사용자가 공격을 입력합니다. 예를 들어 봇에게 이전 지시를 무시하라고 요청합니다. 간접 인젝션에서는 공격이 모델이 처리하는 콘텐츠 안에 들어옵니다. 웹 페이지, PDF, 코드 주석, 캘린더 초대, MCP 도구의 설명 등입니다. 사용자는 이를 전혀 보지 못할 수도 있습니다. Greshake 등은 LLM이 통합된 애플리케이션이 데이터와 지시의 경계를 흐리며, 이 때문에 공격자가 직접 접근 없이도 모델에 닿을 수 있음을 보였습니다.

에이전트에게 중요한 이유

텍스트만 쓰는 챗봇은 망신을 당하는 정도로 끝날 수 있습니다. 파일을 읽고, API를 호출하고, 메시지를 보낼 수 있는 에이전트는 조종당해 실제로 행동할 수 있습니다. 최악의 경우는 인젝션이 데이터 유출과 이어지는 것입니다. 심어 둔 텍스트가 에이전트에게 개인 데이터를 모아 어딘가로 보내라고 지시합니다. 도구 포이즈닝은 도구 메타데이터를 통해 전달되는 간접 인젝션의 한 형태입니다.

탈옥과의 차이

탈옥은 모델이 자체 안전 학습을 어기게 만들려고 합니다. 프롬프트 인젝션은 애플리케이션의 지시를 무력화하려고 합니다. 기법은 겹치며, 같은 텍스트가 둘 다 할 수 있습니다.

방어

현재 완전한 해결책은 없습니다. 흔한 방어층으로는 입력 및 출력 가드레일, 신뢰할 수 없는 콘텐츠의 명확한 분리, 좁은 에이전트 권한, 에이전트 샌드박스, 민감한 작업 전 사람의 승인이 있습니다. 전체 완화 방안 목록은 OWASP 항목을 참고하십시오.

관련 용어

탈옥(LLM)
탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.
데이터 유출(AI 에이전트)
AI 에이전트에서 데이터 유출(data exfiltration)은 공격자가 에이전트를 속여 접근 가능한 비공개 데이터를 읽게 하고, 웹 요청, 이메일, 이미지 링크 등 공격자가 통제하는 경로로 내보내게 하는 것을 말합니다.
에이전트 샌드박스
에이전트 샌드박스(agent sandbox)는 AI 에이전트가 코드와 명령을 실행하는 격리된 환경입니다. 컨테이너, 가상 머신, 운영체제 제한 등이 있으며, 정해진 한계 밖의 파일, 네트워크, 데이터에 닿지 못하게 합니다.
도구 포이즈닝(Tool poisoning)
도구 포이즈닝(tool poisoning)은 악성 도구, 흔히 MCP 서버가 도구 설명이나 메타데이터에 지시를 숨기는 공격입니다. AI 모델은 이를 지침으로 읽고, 사용자가 알아채지 못하는 사이에 데이터를 유출하거나 다른 도구를 오용할 수 있습니다.
가드레일(AI)
가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.

출처