AI 레드 티밍(AI red teaming)
AI 레드 티밍(AI red teaming)은 공개 전후에 사람 테스터나 자동화 도구로 모델이나 AI 애플리케이션을 일부러 공격해, 유해한 출력, 탈옥, 인젝션 및 기타 실패를 찾아 고칠 수 있게 하는 일입니다.
다른 이름: red team, red teaming
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
이 용어는 레드 팀이 공격자 역할을 맡는 군사 및 보안 훈련에서 왔습니다. 언어 모델에서 목표는 동작입니다. 시스템을 몰아붙여 위험한 지시를 내놓게 하거나, 데이터를 유출하게 하거나, 사용자를 모욕하게 하거나, 해서는 안 될 행동을 하게 할 수 있는가?
작동 방식
Ganguli 등은 유해한 출력을 발견하고, 측정하고, 줄이기 위해 언어 모델을 레드 티밍한 초기 작업을 설명했습니다. 이들은 인간 피드백 기반 강화 학습(RLHF)으로 학습한 모델이 커질수록 레드 티밍하기 어려워진다는 것을 발견했습니다.
실제로 팀은 세 가지 방식을 섞습니다. 흔히 도메인 전문가인 사람 레드 티머가 창의적인 공격을 작성합니다. 자동화 도구가 탈옥과 프롬프트 인젝션 같은 알려진 공격의 변형을 대량으로 만들고 응답을 채점합니다. 오픈소스 선택지로는 garak, PyRIT, promptfoo가 있습니다. 발견한 결과는 학습, 가드레일, 제품 변경에 반영됩니다.
레드 티밍과 평가
일반적인 LLM 평가는 시스템이 전형적인 입력에서 일을 얼마나 잘하는지 묻습니다. 레드 티밍은 적대적인 입력에서 어떻게 실패하는지 묻습니다. 둘 다 필요하 며, 좋은 레드 팀 결과는 영구적인 테스트 케이스가 되는 경우가 많습니다.
한계
레드 팀은 문제가 있음을 보여 줄 수는 있지만, 남은 문제가 없음을 증명할 수는 없습니다. 결과는 테스터의 실력과 상상력, 그리고 모델의 배포 방식에 달려 있으므로, 기본 모델에 대한 테스트는 그 위에 도구를 붙여 만든 에이전트에 대해 별로 알려 주지 않습니다.
관련 용어
- 탈옥(LLM)
- 탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.
- LLM 평가
- LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
- 프롬프트 인젝션(Prompt injection)
- 프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이 지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.
- 가드레일(AI)
- 가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.
- AI 정렬
- AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.