본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

탈옥(LLM)

탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.

다른 이름: jailbreaking, LLM jailbreak

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

이 말은 휴대폰과 게임기의 제한을 푸는 것에서 왔습니다. LLM에서는 아무것도 설치하거나 수정하지 않으며, 공격자는 텍스트만 씁니다. 흔한 패턴으로는 규칙이 없는 캐릭터를 연기하게 하기, 금지된 요청을 해롭지 않아 보이는 부분으로 나누기, 다른 언어나 인코딩으로 쓰기, 모델이 거절을 넘어서도록 미는 기계 생성 문자열을 덧붙이기가 있습니다.

통하는 이유

Wei, Haghtalab, Steinhardt는 안전 학습이 실패하는 이유를 연구하고 두 가지 원인을 제시했습니다. 경쟁하는 목표: 모델은 도움이 되도록, 그리고 거절하도록 동시에 학습되며, 교묘한 프롬프트가 이 두 목표를 서로 맞서게 합니다. 일반화 불일치: 안전 학습이 모델이 능력을 가진 모든 영역을 다루지는 못하므로, 특이한 형태로 표현된 요청이 빠져나갑니다.

탈옥과 프롬프트 인젝션

사람들은 둘을 자주 혼동합니다. 탈옥은 모델 자체의 안전 규칙을 노리며, 보통 모델과 대화하는 사용자가 실행합니다. 프롬프트 인젝션은 애플리케이션의 지시를 노리며, 흔히 제3자가 모델이 읽는 콘텐츠에 심어 둡니다. 하나의 공격이 둘 다일 수도 있습니다. 주입된 웹 페이지에 탈옥이 들어 있을 수 있습니다.

개발자가 하는 일

모델 제공업체는 알려진 탈옥을 막지만 새로운 탈옥이 계속 나타나므로, 애플리케이션은 입력과 출력 분류기 같은 자체 가드레일을 더합니다. 팀들은 PyRIT이나 promptfoo 같은 도구로 출시 전에 레드팀 테스트를 해 약점을 찾습니다. 탈옥은 불완전한 정렬의 증상입니다. 모델의 행동이 제작자가 의도한 바와 완전히 맞지 않는다는 뜻입니다.

관련 용어

프롬프트 인젝션(Prompt injection)
프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.
AI 레드 티밍(AI red teaming)
AI 레드 티밍(AI red teaming)은 공개 전후에 사람 테스터나 자동화 도구로 모델이나 AI 애플리케이션을 일부러 공격해, 유해한 출력, 탈옥, 인젝션 및 기타 실패를 찾아 고칠 수 있게 하는 일입니다.
가드레일(AI)
가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.
AI 정렬
AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.
Abliteration(어블리터레이션)
Abliteration(어블리터레이션)은 언어 모델이 요청을 거부하지 못하게 하는 기법입니다. 거부를 담당하는 단 하나의 내부 방향을 찾아, 모델이 더 이상 그 방향에 쓸 수 없도록 가중치를 편집하며 재학습은 필요하지 않습니다.

출처