프롬프트 인젝션(Prompt injection)
프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.
다른 이름: indirect prompt injection, direct prompt injection
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
LLM은 지시와 데이터를 같은 통로, 즉 텍스트로 읽습니다. 모델은 개발자의 시스템 프롬프트와, 요약을 요청받은 이메일에 공격자가 심어 둔 문장을 확실하게 구분하지 못합니다. OWASP는 LLM 애플리케이션 Top 10에서 프롬프트 인젝션을 첫 번째로 꼽습니다.
직접과 간접
직접 인젝션에서는 사용자가 공격을 입력합니다. 예를 들어 봇에게 이전 지시를 무시하라고 요청합니다. 간접 인젝션에서는 공격이 모델이 처리하는 콘텐츠 안에 들어옵니다. 웹 페이지, PDF, 코드 주석, 캘린더 초대, MCP 도구의 설명 등입니다. 사용자는 이를 전혀 보지 못할 수도 있습니다. Greshake 등은 LLM이 통합된 애플리케이션이 데이터와 지시의 경계를 흐리며, 이 때문에 공격자가 직접 접근 없이도 모델에 닿을 수 있음을 보였습니다.
에이전트에게 중요한 이유
텍스트만 쓰는 챗봇은 망신을 당하는 정도로 끝날 수 있습니다. 파일을 읽고, API를 호출하고, 메시지를 보낼 수 있는 에이전트는 조종당해 실제로 행동할 수 있습니다. 최악의 경우는 인젝션이 데이터 유출과 이어지는 것입니다. 심어 둔 텍스트가 에이전트에게 개인 데이터를 모아 어딘가로 보내라고 지시합니다. 도구 포이즈닝은 도구 메타데이터를 통해 전달되는 간접 인젝션의 한 형태입니다.
탈옥과의 차이
탈옥은 모델이 자체 안전 학습을 어기게 만들려 고 합니다. 프롬프트 인젝션은 애플리케이션의 지시를 무력화하려고 합니다. 기법은 겹치며, 같은 텍스트가 둘 다 할 수 있습니다.
방어
현재 완전한 해결책은 없습니다. 흔한 방어층으로는 입력 및 출력 가드레일, 신뢰할 수 없는 콘텐츠의 명확한 분리, 좁은 에이전트 권한, 에이전트 샌드박스, 민감한 작업 전 사람의 승인이 있습니다. 전체 완화 방안 목록은 OWASP 항목을 참고하십시오.
관련 용어
- 탈옥(LLM)
- 탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.
- 데이터 유출(AI 에이전트)
- AI 에이전트에서 데이터 유출(data exfiltration)은 공격자가 에이전트를 속여 접근 가능한 비공개 데이터를 읽게 하고, 웹 요청, 이메일, 이미지 링크 등 공격자가 통제하 는 경로로 내보내게 하는 것을 말합니다.
- 에이전트 샌드박스
- 에이전트 샌드박스(agent sandbox)는 AI 에이전트가 코드와 명령을 실행하는 격리된 환경입니다. 컨테이너, 가상 머신, 운영체제 제한 등이 있으며, 정해진 한계 밖의 파일, 네트워크, 데이터에 닿지 못하게 합니다.
- 도구 포이즈닝(Tool poisoning)
- 도구 포이즈닝(tool poisoning)은 악성 도구, 흔히 MCP 서버가 도구 설명이나 메타데이터에 지시를 숨기는 공격입니다. AI 모델은 이를 지침으로 읽고, 사용자가 알아채지 못하는 사이에 데이터를 유출하거나 다른 도구를 오용할 수 있습니다.
- 가드레일(AI)
- 가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.