본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

AI 뉴스와 연구

뉴스 ·

IBM, 프롬프트의 지시와 데이터를 분리하는 마크업 LLMON을 미리 공개했습니다

IBM Granite는 프롬프트의 각 부분을 예약 토큰 6개로 구분된 태그 블록에 담는 XML 비슷한 마크업 LLMON과, 이를 학습한 Granite 4.1 3B·8B 실험용 프리뷰 모델을 공개했습니다. IBM은 OPI 벤치마크에서 이 모델들이 시험한 최고의 프런티어 모델보다 프롬프트 인젝션 공격을 47% 더 막아냈고, 일반 작업에서는 Granite 4.1 Instruct와 비슷하다고 밝혔습니다.

문서나 도구 결과에 숨겨진 지시가 AI 에이전트를 가로채는 프롬프트 주입은 언어 모델로 무언가를 만드는 사람에게 여전히 가장 어려운 보안 문제 중 하나입니다. IBM의 Granite 팀이 특이한 답을 내놓았습니다. 필터를 하나 더 붙이는 대신 모델이 읽는 형식 자체를 바꾸는 것입니다. LLM Object Notation의 약자로 레몬이라고 읽는 LLMON은 모델이 어떤 텍스트가 명령이고 어떤 텍스트가 그저 자료인지 구분하도록 설계된 마크업 언어입니다.

핵심 아이디어는 구조를 평범한 문자로 표현하지 않는 것입니다. JSON에서는 필드를 닫는 따옴표와 인용된 문서 안의 따옴표가 같은 토큰이고, 중첩은 괄호를 세서 따라가야 하는데 트랜스포머는 긴 구간에서 이것을 잘 못합니다. LLMON은 예약된 특수 토큰 여섯 개를 구분자로 쓰기 때문에 구조와 내용이 어휘의 서로 다른 부분을 씁니다. 지시, 데이터, 요구 사항 같은 각 구성 요소에는 태그와 2토큰짜리 짧은 ID가 붙고, 마지막의 실행 블록이 어떤 지시를 어떤 데이터에 실행하고 답을 어디에 둘지 밝힙니다. 그곳에서 참조되지 않은 것은 무시하도록 되어 있습니다.

IBM은 실험용 프리뷰 모델 granite-4.1-3b-LLMON-preview와 granite-4.1-8b-LLMON-preview 두 개를 공개합니다. Granite 4.1 기본 체크포인트에서 학습해 이 동작을 사후 학습 단계에서 익히게 했습니다. 학습에는 일부러 연결하지 않은 미끼 지시를 섞어 다시 직렬화한 지시 데이터를 썼고, 이어 다섯 단계의 GRPO 강화 학습과, 주입 시도에 대한 모델 자신의 응답으로 만든 선호 쌍 천 개로 마지막 DPO 단계를 거쳤습니다. OPI 벤치마크에서 IBM은 LLMON이 시험한 최고의 프런티어 모델보다 47%, 최고의 오픈 모델보다 95% 더 많은 공격을 막았다고 밝혔으며, ASB와 StruQ에서도 비슷한 경향을 보였고 일반 벤치마크 점수는 Granite 4.1 Instruct와 같은 수준을 유지했습니다.

실용적인 장점은 부담이 적다는 점입니다. 프리뷰 모델에는 채팅 템플릿이 함께 제공되므로 개발자는 메시지의 각 부분에 이름을 붙이고 무엇을 실행할지 표시하면 됩니다. 변환 도구로 기존 JSON을 LLMON으로, 다시 JSON으로 손실 없이 바꿀 수 있습니다. 프런티어 연구소가 쓰는 지시 계층이나 분류기와는 다른 접근이며, 사용자를 대신해 이메일이나 웹 페이지를 읽는 에이전트에게 의미가 있을 수 있습니다.

IBM은 한계를 솔직히 밝힙니다. 이것은 프리뷰이지 운영 환경용이 아닙니다. 벤치마크는 정적 주입을 시험하며, 여러 턴에 걸쳐 전개되는 공격은 아직 연구 중입니다. 또한 IBM은 이 분리가 강제된 보장이 아니라 학습된 동작이라고 강조하므로, 작정한 공격자가 우회 방법을 찾을 여지는 남아 있습니다.

결론: 토큰 수준에서 지시와 데이터를 분리하는 것은 시스템 프롬프트에 경고를 하나 더 붙이는 것보다 진지한 프롬프트 인젝션 대책입니다. 다만 IBM 스스로 이 동작이 학습된 것이지 보장된 것이 아니라고 하며, 시험은 정적인 단일 턴 공격만 다룹니다.

출처: Hugging Face

다른 기사