본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

Abliteration(어블리터레이션)

Abliteration(어블리터레이션)은 언어 모델이 요청을 거부하지 못하게 하는 기법입니다. 거부를 담당하는 단 하나의 내부 방향을 찾아, 모델이 더 이상 그 방향에 쓸 수 없도록 가중치를 편집하며 재학습은 필요하지 않습니다.

다른 이름: refusal ablation, refusal direction removal, abliterated model

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

채팅 모델은 지시를 따르고 해로운 지시는 거부하도록 학습됩니다. 2024년 Arditi와 동료들은 최대 72B 파라미터의 오픈 채팅 모델 13개에서 이 거부가 모델 내부 활성화의 단 하나의 방향을 거쳐 일어난다는 것을 보였습니다. 그 방향을 지우면 모델은 거부를 멈추고, 더하면 무해한 요청까지 거부합니다. abliteration은 이 발견을 바탕으로 만든 실용적인 절차입니다.

작동 방식

해로운 프롬프트와 무해한 프롬프트 두 묶음으로 모델을 실행하고 마지막 토큰에서의 활성화를 기록합니다. 두 평균의 차이가 각 층의 거부 방향 후보가 되며, 가장 잘 작동하는 것을 고릅니다. 그런 다음 residual stream에 쓰는 행렬들을 그 방향에 대해 직교화하여 모델 가중치가 더 이상 그 방향을 만들어 내지 못하게 합니다. 결과물은 평범한 체크포인트이며, 다른 오픈 웨이트 모델처럼 공유할 수 있습니다.

Abliteration과 파인튜닝의 차이

파인튜닝은 예시로 학습하며 그래디언트 업데이트를 통해 동작을 바꿉니다. abliteration은 두 프롬프트 묶음만 있으면 되고 학습은 필요 없습니다. 기존 가중치를 한 번 편집하는 것으로, 새로운 동작을 가르치는 대신 하나의 동작을 제거합니다. 화이트박스 방법이므로 가중치를 가진 모델에만 쓸 수 있습니다.

품질 비용

논문은 다른 능력에 미치는 영향이 적다고 보고하지만 결과는 모델마다 다릅니다. Labonne의 안내에서는 8B 모델 Daredevil-8B에 abliteration을 적용하자 벤치마크 점수가 떨어졌습니다. 이후 가벼운 DPO 선호 학습을 한 번 거치자 하락분의 대부분이 회복되었지만, 그는 지도 파인튜닝을 더 하면 모델이 망가질 가능성이 높다고 경고했습니다.

위험

abliteration은 사용자가 지나치게 조심스럽다고 느끼는 요청뿐 아니라 모든 요청에 대한 거부를 없앱니다. Arditi와 동료들은 이를 화이트박스 탈옥으로 설명하며, 안전 파인튜닝이 얼마나 취약한지 보여 준다고 말합니다. abliteration을 거친 모델에는 내장된 거부가 없으므로, 출력에 대한 제한은 모델 바깥에서 가드레일과 레드 팀 같은 테스트로 마련해야 합니다. 또한 공개된 모델의 안전 학습은 가중치를 가진 누구나 되돌릴 수 있다는 뜻이기도 합니다.

관련 용어

탈옥(LLM)
탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.
모델 가중치(Model weights)
모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
오픈 웨이트 모델(Open-weight model)
오픈 웨이트 모델(open-weight model)은 학습된 가중치가 공개되어 누구나 내려받아 실행할 수 있는 모델입니다. 학습 코드나 전체 학습 데이터가 빠진 경우가 많아 반드시 오픈소스인 것은 아닙니다.
AI 정렬
AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.
AI 레드 티밍(AI red teaming)
AI 레드 티밍(AI red teaming)은 공개 전후에 사람 테스터나 자동화 도구로 모델이나 AI 애플리케이션을 일부러 공격해, 유해한 출력, 탈옥, 인젝션 및 기타 실패를 찾아 고칠 수 있게 하는 일입니다.
가드레일(AI)
가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.

출처