본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

안전, 보안, 평가

AI 시스템이 어떻게 공격받고, 보호되고, 규제되고, 측정되는지를 다룹니다. 벤치마크도 포함합니다.

Abliteration(어블리터레이션)
Abliteration(어블리터레이션)은 언어 모델이 요청을 거부하지 못하게 하는 기법입니다. 거부를 담당하는 단 하나의 내부 방향을 찾아, 모델이 더 이상 그 방향에 쓸 수 없도록 가중치를 편집하며 재학습은 필요하지 않습니다.
AI 공급망 공격
AI 공급망 공격(AI supply-chain attack)은 애플리케이션을 직접 공격하는 대신, 내려받은 모델, LoRA 어댑터, 데이터셋, Python 패키지, MCP 서버, 에이전트 스킬처럼 애플리케이션이 의존하는 무언가를 통해 AI 애플리케이션을 장악하는 공격입니다.
AI 레드 티밍(AI red teaming)
AI 레드 티밍(AI red teaming)은 공개 전후에 사람 테스터나 자동화 도구로 모델이나 AI 애플리케이션을 일부러 공격해, 유해한 출력, 탈옥, 인젝션 및 기타 실패를 찾아 고칠 수 있게 하는 일입니다.
AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
AI 에이전트용 OAuth
AI 에이전트용 OAuth(OAuth for AI agents)는 OAuth 인가 표준을 사용해, 에이전트나 MCP 클라이언트가 사용자의 비밀번호나 광범위한 API 키를 갖는 대신 범위가 제한되고 철회할 수 있는 액세스 토큰으로 사용자를 대신해 행동하게 하는 것입니다.
AI 워터마킹
AI 워터마킹(AI watermarking)은 AI 모델이 텍스트, 이미지, 오디오, 영상을 생성하는 순간 그 안에 숨겨진, 기계가 감지할 수 있는 신호를 심는 기술입니다. 나중에 소프트웨어가 그 콘텐츠를 AI가 생성한 것으로 식별할 수 있게 합니다.
AI 정렬
AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.
AIME(벤치마크)
AIME(American Invitational Mathematics Examination)는 0부터 999까지의 정수로 답하는 15문항짜리 미국 수학 경시대회입니다. AI 연구소들은 AIME 2025 같은 기출 문제를 수학 추론 벤치마크로 씁니다.
ARC-AGI
ARC-AGI는 François Chollet가 시작하고 ARC Prize가 운영하는 벤치마크 시리즈로, AI 시스템이 이전에 본 적 없는 새로운 추론 퍼즐을 풀 수 있는지 시험합니다. 무엇을 아는지가 아니라 얼마나 효율적으로 배우는지를 측정합니다.
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index는 벤치마킹 회사 Artificial Analysis가 만든 종합 점수로, 지식 노동, 코딩, 과학, 일반 지식에 걸친 여러 평가를 하나의 숫자로 합쳐 언어 모델을 비교합니다.
BrowseComp
BrowseComp는 OpenAI가 만든 1,266개의 어려운 질문으로 이루어진 벤치마크로, 브라우징 에이전트가 얽혀 있고 찾기 어려운 사실을 웹에서 끈질기게 찾아낼 수 있는지 시험합니다. 답은 짧아서 확인하기 쉽습니다.
C2PA 콘텐츠 자격 증명
C2PA 콘텐츠 자격 증명(C2PA content credentials)은 Coalition for Content Provenance and Authenticity의 개방형 표준이 정의하는 서명된 출처 기록으로, 이미지, 영상, 오디오 파일, 문서와 함께 이동하며 그 출처와 편집 내역을 기록합니다.
Elo 레이팅(모델 아레나)
모델 아레나에서 Elo 레이팅(Elo rating)은 모델 쌍 사이의 수많은 일대일 투표로 계산한 점수로, 두 점수의 차이가 한 모델의 답이 다른 모델의 답보다 얼마나 자주 선호될지를 예측합니다.
EU AI Act
EU AI Act(Regulation (EU) 2024/1689)는 인공지능에 관한 유럽연합의 법입니다. AI 시스템을 만들고 배포하는 이들에게 전면 금지부터 투명성 의무까지 위험 기반 규칙을 정하며, 2025년부터 단계적으로 시행됩니다.
GPQA
GPQA(Graduate-Level Google-Proof Q&A)는 생물학, 물리학, 화학 분야의 어려운 객관식 문제 448개로 이루어진 벤치마크입니다. 전문가들이 작성해, 숙련된 비전문가는 웹을 무제한으로 검색해도 답하지 못하도록 만들었습니다.
HumanEval
HumanEval은 OpenAI가 2021년에 공개한 코드 생성 벤치마크입니다. 함수 시그니처, docstring, 단위 테스트를 갖춘 손으로 쓴 Python 문제 164개로, 모델이 실제로 동작하는 코드를 쓰는지 확인합니다.
Humanity's Last Exam
Humanity's Last Exam(HLE)은 수십 개 과목에 걸쳐 전문가가 쓴 2,500개의 질문으로 이루어진 벤치마크로, AI 모델에게 매우 어렵도록 만들었습니다. 답은 명확하고 확인 가능하지만 온라인에서 빠르게 찾을 수는 없습니다.
LLM 관측성(LLM observability)
LLM 관측성(LLM observability)은 AI 애플리케이션이 프로덕션에서 하는 일, 즉 프롬프트, 응답, 도구 호출, 지연 시간, 토큰 사용량, 비용을 검색 가능한 트레이스로 기록하는 것입니다. 이를 통해 실패를 디버깅하고 시스템이 시간에 따라 어떻게 동작하는지 볼 수 있습니다.
LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
LLM-as-a-judge
LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
LMArena
LMArena는 처음에 Chatbot Arena로 알려졌던 공개 플랫폼으로, 크라우드소싱한 사람들의 투표로 AI 모델 순위를 매깁니다. 사용자는 익명의 두 모델이 같은 프롬프트에 답하는 것을 보고 더 나은 응답을 고릅니다.
MMLU
MMLU(Massive Multitask Language Understanding)는 초등 수학과 미국 역사부터 법학과 컴퓨터 과학까지 57개 과목을 다루는 객관식 벤치마크로, 언어 모델의 폭넓은 지식과 문제 해결 능력을 시험합니다.
MTEB
MTEB(Massive Text Embedding Benchmark)는 텍스트 임베딩 모델을 검색, 클러스터링, 분류, 리랭킹 등 여러 작업 유형에 걸쳐 많은 데이터셋과 언어로 채점하는 공개 벤치마크이자 리더보드입니다.
OSWorld
OSWorld는 컴퓨터 사용 에이전트를 위한 벤치마크로, Ubuntu, Windows, macOS 같은 실제 운영체제를 실행하고 웹 및 데스크톱 앱에 걸친 369개의 열린 과제로 에이전트를 채점하며, 결과는 스크립트로 확인합니다.
pass@k
pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.
PII 마스킹(PII redaction)
PII 마스킹(PII redaction)은 이름, 전화번호, 주소, 카드 번호 같은 개인 식별 정보를 텍스트나 이미지에서 찾아내, 모델에 보내거나 로그에 저장하거나 다른 사람에게 보여 주기 전에 지우거나 가리는 것입니다.
SOC 2
SOC 2는 외부 CPA 감사 법인이 AICPA 기준에 따라 작성하는 감사 보고서로, 서비스 조직의 보안, 가용성, 처리 무결성, 기밀성, 개인정보 보호 관련 통제를 다룹니다.
SWE-bench
SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
Terminal-Bench
Terminal-Bench는 명령줄 터미널에서 일하는 AI 에이전트를 위한 벤치마크로, 과제마다 에이전트에게 실제 환경을 주고, 일이 실제로 완료되었는지 확인하는 테스트로 채점합니다.
τ-bench
τ-bench(tau-bench)는 시뮬레이션된 고객 서비스 대화에서 AI 에이전트를 시험하는 벤치마크입니다. 언어 모델이 사용자 역할을 하고, 에이전트는 서면 정책 규칙을 지키면서 도메인 API 도구를 써야 합니다.
가드레일(AI)
가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.
골든 데이터셋
골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.
데이터 레지던시
데이터 레지던시(data residency)는 고객의 데이터를 EU처럼 선택한 지리적 지역에 저장하고, 흔히 처리도 그 지역에서 하게 하는 통제 수단입니다. 데이터가 어디에 있어야 하는지에 관한 팀 자체의 법적, 계약상, 고객 요구를 충족하게 합니다.
데이터 무보존(Zero data retention)
데이터 무보존(zero data retention, ZDR)은 AI 제공업체가 요청에 답한 뒤 고객의 프롬프트와 출력을 보관하지 않는 방식으로, 보통 승인된 고객에게만, 그리고 해당되는 API 기능에만 제공됩니다.
데이터 유출(AI 에이전트)
AI 에이전트에서 데이터 유출(data exfiltration)은 공격자가 에이전트를 속여 접근 가능한 비공개 데이터를 읽게 하고, 웹 요청, 이메일, 이미지 링크 등 공격자가 통제하는 경로로 내보내게 하는 것을 말합니다.
도구 포이즈닝(Tool poisoning)
도구 포이즈닝(tool poisoning)은 악성 도구, 흔히 MCP 서버가 도구 설명이나 메타데이터에 지시를 숨기는 공격입니다. AI 모델은 이를 지침으로 읽고, 사용자가 알아채지 못하는 사이에 데이터를 유출하거나 다른 도구를 오용할 수 있습니다.
딥페이크
딥페이크(deepfake)는 AI로 만들거나 변조한 이미지, 오디오, 영상 콘텐츠로, 실제 인물, 장소, 사건을 일어나지 않은 방식으로 그럴듯하게 보여 주어 진짜로 통할 수 있는 것을 말합니다.
리더보드(AI)
AI 리더보드(leaderboard)는 하나 이상의 벤치마크 점수나 사람의 선호 투표로 모델의 순위를 매긴 공개 표로, 새 모델이 시험될 때마다 갱신되어 독자가 모델을 나란히 비교할 수 있게 합니다.
모델 카드(Model card)
모델 카드(model card)는 머신러닝 모델과 함께 공개되는 짧은 문서로, 모델의 용도, 학습 및 평가 방식, 성능이 떨어지는 영역, 그리고 써야 할 방식과 쓰지 말아야 할 방식을 설명합니다.
벤치마크 오염
벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
에이전트 권한
에이전트 권한(agent permissions)은 AI 에이전트가 어떤 도구, 파일, 명령, 네트워크, 계정을 쓸 수 있는지, 어떤 동작에 먼저 사람의 승인이 필요한지를 정하는 규칙입니다. 에이전트가 실수하거나 조작당해도 피해를 제한하기 위한 것입니다.
인간 평가
인간 평가(human evaluation)는 자동화된 지표 대신 사람이 AI 출력을 판단하는 것입니다. 예를 들어 평가자가 기준표에 따라 답에 점수를 매기거나, 블라인드 테스트에서 익명의 두 응답 중 더 나은 것을 고릅니다.
탈옥(LLM)
탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.
프롬프트 인젝션(Prompt injection)
프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.
회귀 테스트(LLM 앱)
LLM 앱의 회귀 테스트(regression testing)는 프롬프트, 모델, 검색 설정, 도구를 바꿀 때마다 고정된 평가 케이스를 다시 실행해, 예전에는 잘 되다가 이제 실패하는 케이스를 잡아내는 것입니다.