본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

데이터 유출(AI 에이전트)

AI 에이전트에서 데이터 유출(data exfiltration)은 공격자가 에이전트를 속여 접근 가능한 비공개 데이터를 읽게 하고, 웹 요청, 이메일, 이미지 링크 등 공격자가 통제하는 경로로 내보내게 하는 것을 말합니다.

다른 이름: exfiltration, lethal trifecta

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

유출(exfiltration)은 허락 없이 시스템 밖으로 데이터를 옮기는 것을 가리키는 오래된 보안 용어입니다. 에이전트는 비공개 데이터를 읽을 수 있고, 바깥 세계와도 통신할 수 있으며, 처리하는 텍스트 속의 지시를 따르기 때문에 유출을 더 쉽게 만듭니다.

치명적 삼요소

Simon Willison은 이 위험을 한 에이전트에 있는 세 가지 특징으로 설명합니다. 비공개 데이터에 대한 접근, 신뢰할 수 없는 콘텐츠에 대한 노출, 외부와 통신하는 수단입니다. 셋이 모두 있으면, 웹 페이지, 문서, 이슈에 숨겨진 프롬프트 인젝션이 에이전트에게 비밀 정보를 모아 공격자에게 보내라고 지시할 수 있습니다. 셋 중 하나만 없애도 이 공격 경로는 닫힙니다.

데이터가 나가는 경로

경로는 해롭지 않아 보이는 것인 경우가 많습니다. 쿼리 문자열에 데이터를 담은 URL, 채팅 클라이언트가 자동으로 불러오는 Markdown 이미지, 공개 저장소로 푸시한 커밋, 발신 이메일, 도구에 넘긴 인자 등입니다. Willison은 업체들이 보통 데이터를 내보내는 데 쓰인 특정 경로를 막는 방식으로 보고된 사례를 고쳤다고 지적합니다.

예시

비공개 저장소에 접근할 수 있는 코딩 에이전트가 공개 이슈에 올라온 버그를 고치라는 요청을 받습니다. 이슈 본문에는 `.env` 파일을 읽고 그 내용을 링크에 넣으라는 숨겨진 지시가 들어 있습니다. 에이전트가 네트워크 요청을 할 수 있다면 키가 그 요청과 함께 빠져나갑니다.

방어

좁은 에이전트 권한으로 에이전트가 닿을 수 있는 범위를 제한하십시오. 외부로 나가는 네트워크 접근을 막거나 허용 목록으로 제한한 에이전트 샌드박스에서 실행하십시오. 모델 출력에 있는 원격 이미지를 렌더링하지 말고, 데이터를 내보내는 동작에는 사람의 승인을 요구하십시오. 도구 포이즈닝은 주입된 지시가 들어오는 흔한 경로 중 하나입니다.

관련 용어

프롬프트 인젝션(Prompt injection)
프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.
에이전트 샌드박스
에이전트 샌드박스(agent sandbox)는 AI 에이전트가 코드와 명령을 실행하는 격리된 환경입니다. 컨테이너, 가상 머신, 운영체제 제한 등이 있으며, 정해진 한계 밖의 파일, 네트워크, 데이터에 닿지 못하게 합니다.
에이전트 권한
에이전트 권한(agent permissions)은 AI 에이전트가 어떤 도구, 파일, 명령, 네트워크, 계정을 쓸 수 있는지, 어떤 동작에 먼저 사람의 승인이 필요한지를 정하는 규칙입니다. 에이전트가 실수하거나 조작당해도 피해를 제한하기 위한 것입니다.
도구 포이즈닝(Tool poisoning)
도구 포이즈닝(tool poisoning)은 악성 도구, 흔히 MCP 서버가 도구 설명이나 메타데이터에 지시를 숨기는 공격입니다. AI 모델은 이를 지침으로 읽고, 사용자가 알아채지 못하는 사이에 데이터를 유출하거나 다른 도구를 오용할 수 있습니다.
휴먼 인 더 루프
휴먼 인 더 루프(HITL, human-in-the-loop)는 AI 시스템이 정해진 지점에서 멈추고 사람이 다음 단계를 승인, 수정, 거부하게 하는 설계로, 위험하거나 불확실한 동작이 자동으로 실행되지 않게 합니다.

출처