안전, 보안, 평가
AI 시스템이 어떻게 공격받고, 보호되고, 규제되고, 측정되는지를 다룹니다. 벤치마크도 포함합니다.
- Abliteration(어블리터레이션)
- Abliteration(어블리터레이션)은 언어 모델이 요청을 거부하지 못하게 하는 기법입니다. 거부를 담당하는 단 하나의 내부 방향을 찾아, 모델이 더 이상 그 방향에 쓸 수 없도록 가중치를 편집하며 재학습은 필요하지 않습니다.
- AI 공급망 공격
- AI 공급망 공격(AI supply-chain attack)은 애플리케이션을 직접 공격하는 대신, 내려받은 모델, LoRA 어댑터, 데이터셋, Python 패키지, MCP 서버, 에이전트 스킬처럼 애플리케이션이 의존하는 무언가를 통해 AI 애플리케이션을 장악하는 공격입니다.
- AI 레드 티밍(AI red teaming)
- AI 레드 티밍(AI red teaming)은 공개 전후에 사람 테스터나 자동화 도구로 모델이나 AI 애플리케이션을 일부러 공격해, 유해한 출력, 탈옥, 인젝션 및 기타 실패를 찾아 고칠 수 있게 하는 일입니다.
- AI 벤치마크
- AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
- AI 에이전트용 OAuth
- AI 에이전트용 OAuth(OAuth for AI agents)는 OAuth 인가 표준을 사용해, 에이전트나 MCP 클라이언트가 사용자의 비밀번호나 광범위한 API 키를 갖는 대신 범위가 제한되고 철회할 수 있는 액세스 토큰으로 사용자를 대신해 행동하게 하는 것입니다.
- AI 워터마킹
- AI 워터마킹(AI watermarking)은 AI 모델이 텍스트, 이미지, 오디오, 영상을 생성하는 순간 그 안에 숨겨진, 기계가 감지할 수 있는 신호를 심는 기술입니다. 나중에 소프트웨어가 그 콘텐츠를 AI가 생성한 것으로 식별할 수 있게 합니다.
- AI 정렬
- AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.
- AIME(벤치마크)
- AIME(American Invitational Mathematics Examination)는 0부터 999까지의 정수로 답하는 15문항짜리 미국 수학 경시대회입니다. AI 연구소들은 AIME 2025 같은 기출 문제를 수학 추론 벤치마크로 씁니다.
- ARC-AGI
- ARC-AGI는 François Chollet가 시작하고 ARC Prize가 운영하는 벤치마크 시리즈로, AI 시스템이 이전에 본 적 없는 새로운 추론 퍼즐을 풀 수 있는지 시험합니다. 무엇을 아는지가 아니라 얼마나 효율적으로 배우는지를 측정합니다.
- Artificial Analysis Intelligence Index
- Artificial Analysis Intelligence Index는 벤치마킹 회사 Artificial Analysis가 만든 종합 점수로, 지식 노동, 코딩, 과학, 일반 지식에 걸친 여러 평가를 하나의 숫자로 합쳐 언어 모델을 비교합니다.
- BrowseComp
- BrowseComp는 OpenAI가 만든 1,266개의 어려운 질문으로 이루어진 벤치마크로, 브라우징 에이전트가 얽혀 있고 찾기 어려운 사실을 웹에서 끈질기게 찾아낼 수 있는지 시험합니다. 답은 짧아서 확인하기 쉽습니다.
- C2PA 콘텐츠 자격 증명
- C2PA 콘텐츠 자격 증명(C2PA content credentials)은 Coalition for Content Provenance and Authenticity의 개방형 표준이 정의하는 서명된 출처 기록으로, 이미지, 영상, 오디오 파일, 문서와 함께 이동하며 그 출처와 편집 내역을 기록합니다.
- Elo 레이팅(모델 아레나)
- 모델 아레나에서 Elo 레이팅(Elo rating)은 모델 쌍 사이의 수많은 일대일 투표로 계산한 점수로, 두 점수의 차이가 한 모델의 답이 다른 모델의 답보다 얼마나 자주 선호될지를 예측합니다.
- EU AI Act
- EU AI Act(Regulation (EU) 2024/1689)는 인공지능에 관한 유럽연합의 법입니다. AI 시스템을 만들고 배포하는 이들에게 전면 금지부터 투명성 의무까지 위험 기반 규칙을 정하며, 2025년부터 단계적으로 시행됩니다.
- GPQA
- GPQA(Graduate-Level Google-Proof Q&A)는 생물학, 물리학, 화학 분야의 어려운 객관식 문제 448개로 이루어진 벤치마크입니다. 전문가들이 작성해, 숙련된 비전문가는 웹을 무제한으로 검색해도 답하지 못하도록 만들었습니다.
- HumanEval
- HumanEval은 OpenAI가 2021년에 공개한 코드 생성 벤치마크입니다. 함수 시그니처, docstring, 단위 테스트를 갖춘 손으로 쓴 Python 문제 164개로, 모델이 실제로 동작하는 코드를 쓰는지 확인합니다.
- Humanity's Last Exam
- Humanity's Last Exam(HLE)은 수십 개 과목에 걸쳐 전문가가 쓴 2,500개의 질문으로 이루어진 벤치마크로, AI 모델에게 매우 어렵도록 만들었습니다. 답은 명확하고 확인 가능하지만 온라인에서 빠르게 찾을 수는 없습니다.
- LLM 관측성(LLM observability)
- LLM 관측성(LLM observability)은 AI 애플리케이션이 프로덕션에서 하는 일, 즉 프롬프트, 응답, 도구 호출, 지연 시간, 토큰 사용량, 비용을 검색 가능한 트레이스로 기록하는 것입니다. 이를 통해 실패를 디버깅하고 시스템이 시간에 따라 어떻게 동작하는지 볼 수 있습니다.
- LLM 평가
- LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
- LLM-as-a-judge
- LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
- LMArena
- LMArena는 처음에 Chatbot Arena로 알려졌던 공개 플랫폼으로, 크라우드소싱한 사람들의 투표로 AI 모델 순위를 매깁니다. 사용자는 익명의 두 모델이 같은 프롬프트에 답하는 것을 보고 더 나은 응답을 고릅니다.
- MMLU
- MMLU(Massive Multitask Language Understanding)는 초등 수학과 미국 역사부터 법학과 컴퓨터 과학까지 57개 과목을 다루는 객관식 벤치마크로, 언어 모델의 폭넓은 지식과 문제 해결 능력을 시험합니다.
- MTEB
- MTEB(Massive Text Embedding Benchmark)는 텍스트 임베딩 모델을 검색, 클러스터링, 분류, 리랭킹 등 여러 작업 유형에 걸쳐 많은 데이터셋과 언어로 채점하는 공개 벤치마크이자 리더보드입니다.
- OSWorld
- OSWorld는 컴퓨터 사용 에이전트를 위한 벤치마크로, Ubuntu, Windows, macOS 같은 실제 운영체제를 실행하고 웹 및 데스크톱 앱에 걸친 369개의 열린 과제로 에이전트를 채점하며, 결과는 스크립트로 확인합니다.
- pass@k
- pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.
- PII 마스킹(PII redaction)
- PII 마스킹(PII redaction)은 이름, 전화번호, 주소, 카드 번호 같은 개인 식별 정보를 텍스트나 이미지에서 찾아내, 모델에 보내거나 로그에 저장하거나 다른 사람에게 보여 주기 전에 지우거나 가리는 것입니다.
- SOC 2
- SOC 2는 외부 CPA 감사 법인이 AICPA 기준에 따라 작성하는 감사 보고서로, 서비스 조직의 보안, 가용성, 처리 무결성, 기밀성, 개인정보 보호 관련 통제를 다룹니다.
- SWE-bench
- SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
- Terminal-Bench
- Terminal-Bench는 명령줄 터미널에서 일하는 AI 에이전트를 위한 벤치마크로, 과제마다 에이전트에게 실제 환경을 주고, 일이 실제로 완료되었는지 확인하는 테스트로 채점합니다.
- τ-bench
- τ-bench(tau-bench)는 시뮬레이션된 고객 서비스 대화에서 AI 에이전트를 시험하는 벤치마크입니다. 언어 모델이 사용자 역할을 하고, 에이전트는 서면 정책 규칙을 지키면서 도메인 API 도구를 써야 합니다.
- 가드레일(AI)
- 가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.
- 골든 데이터셋
- 골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.
- 데이터 레지던시
- 데이터 레지던시(data residency)는 고객의 데이터를 EU처럼 선택한 지리적 지역에 저장하고, 흔히 처리도 그 지역에서 하게 하는 통제 수단입니다. 데이터가 어디에 있어야 하는지에 관한 팀 자체의 법적, 계약상, 고객 요구를 충족하게 합니다.
- 데이터 무보존(Zero data retention)
- 데이터 무보존(zero data retention, ZDR)은 AI 제공업체가 요청에 답한 뒤 고객의 프롬프트와 출력을 보관하지 않는 방식으로, 보통 승인된 고객에게만, 그리고 해당되는 API 기능에만 제공됩니다.
- 데이터 유출(AI 에이전트)
- AI 에이전트에서 데이터 유출(data exfiltration)은 공격자가 에이전트를 속여 접근 가능한 비공개 데이터를 읽게 하고, 웹 요청, 이메일, 이미지 링크 등 공격자가 통제하는 경로로 내보내게 하는 것을 말합니다.
- 도구 포이즈닝(Tool poisoning)
- 도구 포이즈닝(tool poisoning)은 악성 도구, 흔히 MCP 서버가 도구 설명이나 메타데이터에 지시를 숨기는 공격입니다. AI 모델은 이를 지침으로 읽고, 사용자가 알아채지 못하는 사이에 데이터를 유출하거나 다른 도구를 오용할 수 있습니다.
- 딥페이크
- 딥페이크(deepfake)는 AI로 만들거나 변조한 이미지, 오디오, 영상 콘텐츠로, 실제 인물, 장소, 사건을 일어나지 않은 방식으로 그럴듯하게 보여 주어 진짜로 통할 수 있는 것을 말합니다.
- 리더보드(AI)
- AI 리더보드(leaderboard)는 하나 이상의 벤치마크 점수나 사람의 선호 투표로 모델의 순위를 매긴 공개 표로, 새 모델이 시험될 때마다 갱신되어 독자가 모델을 나란히 비교할 수 있게 합니다.
- 모델 카드(Model card)
- 모델 카드(model card)는 머신러닝 모델과 함께 공개되는 짧은 문서로, 모델의 용도, 학습 및 평가 방식, 성능이 떨어지는 영역, 그리고 써야 할 방식과 쓰지 말아야 할 방식을 설명합니다.
- 벤치마크 오염
- 벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
- 에이전트 권한
- 에이전트 권한(agent permissions)은 AI 에이전트가 어떤 도구, 파일, 명령, 네트워크, 계정을 쓸 수 있는지, 어떤 동작에 먼저 사람의 승인이 필요한지를 정하는 규칙입니다. 에이전트가 실수하거나 조작당해도 피해를 제한하기 위한 것입니다.
- 인간 평가
- 인간 평가(human evaluation)는 자동화된 지표 대신 사람이 AI 출력을 판단하는 것입니다. 예를 들어 평가자가 기준표에 따라 답에 점수를 매기거나, 블라인드 테스트에서 익명의 두 응답 중 더 나은 것을 고릅니다.
- 탈옥(LLM)
- 탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.
- 프롬프트 인젝션(Prompt injection)
- 프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.
- 회귀 테스트(LLM 앱)
- LLM 앱의 회귀 테스트(regression testing)는 프롬프트, 모델, 검색 설정, 도구를 바꿀 때마다 고정된 평가 케이스를 다시 실행해, 예전에는 잘 되다가 이제 실패하는 케이스를 잡아내는 것입니다.