본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

참고 자료

AI 용어집

AI 도구, 모델, 에이전트를 고르고 그것으로 개발할 때 만나는 용어 219개입니다. 각 용어를 한두 문장으로 정의하고 설명과 출처를 붙였습니다.

#

τ-bench
τ-bench(tau-bench)는 시뮬레이션된 고객 서비스 대화에서 AI 에이전트를 시험하는 벤치마크입니다. 언어 모델이 사용자 역할을 하고, 에이전트는 서면 정책 규칙을 지키면서 도메인 API 도구를 써야 합니다.

A

Abliteration(어블리터레이션)
Abliteration(어블리터레이션)은 언어 모델이 요청을 거부하지 못하게 하는 기법입니다. 거부를 담당하는 단 하나의 내부 방향을 찾아, 모델이 더 이상 그 방향에 쓸 수 없도록 가중치를 편집하며 재학습은 필요하지 않습니다.
Agent2Agent 프로토콜
Agent2Agent 프로토콜(A2A)은 서로 다른 프레임워크와 업체가 만든 AI 에이전트가 내부 도구나 메모리를 드러내지 않고도 서로를 찾고, 작업을 맡기고, 결과를 주고받게 하는 개방형 표준입니다.
AI 검색 엔진
AI 검색 엔진(AI search engine)은 질의에 대해 웹 검색을 실행하고, 언어 모델로 결과를 읽은 뒤, 링크 목록만이 아니라 출처 링크가 달린 글로 된 답을 돌려주는 검색 서비스입니다.
AI 공급망 공격
AI 공급망 공격(AI supply-chain attack)은 애플리케이션을 직접 공격하는 대신, 내려받은 모델, LoRA 어댑터, 데이터셋, Python 패키지, MCP 서버, 에이전트 스킬처럼 애플리케이션이 의존하는 무언가를 통해 AI 애플리케이션을 장악하는 공격입니다.
AI 레드 티밍(AI red teaming)
AI 레드 티밍(AI red teaming)은 공개 전후에 사람 테스터나 자동화 도구로 모델이나 AI 애플리케이션을 일부러 공격해, 유해한 출력, 탈옥, 인젝션 및 기타 실패를 찾아 고칠 수 있게 하는 일입니다.
AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
AI 아바타
AI 아바타(AI avatar)는 생성된 영상 속 인물로, 실제 사람을 바탕으로 하는 경우가 많습니다. 대본이나 실시간 응답을 얼굴, 입술, 머리의 움직임을 맞춰 말합니다.
AI 어시스턴트
AI 어시스턴트(AI assistant)는 보통 대규모 언어 모델 위에 만들어진 소프트웨어 제품으로, 일상 언어로 된 요청을 받아 사람 대신 질문에 답하거나 작업을 처리합니다. ChatGPT, Claude, Gemini가 그렇습니다.
AI 에이전트
AI 에이전트(AI agent)는 언어 모델이 다음 단계를 스스로 정하는 시스템입니다. 고정된 스크립트를 따르는 대신 도구를 호출하고, 결과를 읽고, 작업이 끝날 때까지 이를 반복합니다.
AI 워터마킹
AI 워터마킹(AI watermarking)은 AI 모델이 텍스트, 이미지, 오디오, 영상을 생성하는 순간 그 안에 숨겨진, 기계가 감지할 수 있는 신호를 심는 기술입니다. 나중에 소프트웨어가 그 콘텐츠를 AI가 생성한 것으로 식별할 수 있게 합니다.
AI 이미지 업스케일링
AI 이미지 업스케일링(AI image upscaling), 또는 초해상도(super-resolution)는 신경망으로 이미지를 확대하면서 그럴듯한 디테일을 채워 넣어, 단순한 크기 조정보다 결과가 더 선명해 보이게 하는 기술입니다.
AI 정렬
AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.
AI 코드 에디터
AI 코드 에디터(AI code editor)는 언어 모델이 내장된 코드 에디터나 IDE입니다. 자동 완성, 코드베이스에 대한 채팅, 그리고 여러 파일에 걸쳐 변경을 계획하고 실행하는 에이전트 모드를 제공합니다.
AI 크롤러
AI 크롤러(AI crawler)는 AI 회사가 운영하는 자동화된 봇으로, 학습 데이터를 모으거나, AI 검색 색인을 만들거나, 사용자가 어시스턴트에게 어떤 페이지에 대해 물을 때 그 페이지를 실시간으로 가져오기 위해 웹 페이지를 수집합니다.
AI 학습 데이터
AI 학습 데이터(AI training data)는 웹 텍스트, 코드, 이미지, 녹취록, 레이블이 붙은 쌍처럼 모델이 학습하는 예시의 모음입니다. 그 규모, 품질, 구성, 라이선스가 모델이 할 수 있는 일과 실패하는 지점을 결정합니다.
AIME(벤치마크)
AIME(American Invitational Mathematics Examination)는 0부터 999까지의 정수로 답하는 15문항짜리 미국 수학 경시대회입니다. AI 연구소들은 AIME 2025 같은 기출 문제를 수학 추론 벤치마크로 씁니다.
API 키
API 키(API key)는 애플리케이션이 요청마다 함께 보내는 비밀 문자열로, 서비스가 어느 계정이 호출하는지 알고, 한도를 적용하고, 요금을 청구하는 데 씁니다. 키를 가진 사람은 대개 누구나 그 키를 쓸 수 있습니다.
ARC-AGI
ARC-AGI는 François Chollet가 시작하고 ARC Prize가 운영하는 벤치마크 시리즈로, AI 시스템이 이전에 본 적 없는 새로운 추론 퍼즐을 풀 수 있는지 시험합니다. 무엇을 아는지가 아니라 얼마나 효율적으로 배우는지를 측정합니다.
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index는 벤치마킹 회사 Artificial Analysis가 만든 종합 점수로, 지식 노동, 코딩, 과학, 일반 지식에 걸친 여러 평가를 하나의 숫자로 합쳐 언어 모델을 비교합니다.
근사 최근접 이웃 검색
근사 최근접 이웃(ANN, approximate nearest neighbor) 검색은 저장된 모든 벡터를 확인하지 않고 질의와 가까운 벡터를 찾는 방법입니다. 정확한 최적의 결과라는 보장을 포기하는 대신, 대규모 컬렉션에서 훨씬 빠르게 검색합니다.
어텐션 메커니즘
어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.
에이전트 권한
에이전트 권한(agent permissions)은 AI 에이전트가 어떤 도구, 파일, 명령, 네트워크, 계정을 쓸 수 있는지, 어떤 동작에 먼저 사람의 승인이 필요한지를 정하는 규칙입니다. 에이전트가 실수하거나 조작당해도 피해를 제한하기 위한 것입니다.
에이전트 루프
에이전트 루프(agent loop)는 AI 에이전트의 중심에서 반복되는 순환입니다. 모델이 도구 호출을 요청하면 애플리케이션이 이를 실행해 결과를 돌려주고, 모델은 다음에 할 일을 정합니다.
에이전트 메모리
에이전트 메모리(agent memory)는 사용자에 관한 사실이나 과거 작업처럼 AI 에이전트가 하나의 컨텍스트 윈도를 넘어서는 정보를 유지하게 해 주는 기법들입니다. 정보를 모델 밖에 저장했다가 필요할 때 다시 불러옵니다.
에이전트 샌드박스
에이전트 샌드박스(agent sandbox)는 AI 에이전트가 코드와 명령을 실행하는 격리된 환경입니다. 컨테이너, 가상 머신, 운영체제 제한 등이 있으며, 정해진 한계 밖의 파일, 네트워크, 데이터에 닿지 못하게 합니다.
에이전트 스킬
에이전트 스킬(agent skills)은 지시, 스크립트, 참고 파일을 담은 폴더로, 각각 SKILL.md 파일로 설명됩니다. AI 에이전트는 작업에 필요할 때만 이를 찾아 불러옵니다.
에이전트 오케스트레이션
에이전트 오케스트레이션(agent orchestration)은 애플리케이션에서 어떤 에이전트나 모델 호출을 어떤 순서로 실행할지, 다음 단계를 어떻게 고를지를 제어하는 일입니다. 그 결정은 모델이 내릴 수도 있고 고정된 코드가 내릴 수도 있습니다.
에이전트 지침 파일(AGENTS.md)
에이전트 지침 파일(agent instructions file)은 AGENTS.md나 CLAUDE.md처럼 코드 저장소 안에 두는 Markdown 파일로, 코딩 에이전트가 세션을 시작할 때 읽어 프로젝트의 명령, 관례, 규칙을 익힙니다.
에이전트 프레임워크
에이전트 프레임워크(agent framework)는 도구 루프, 상태, 메모리, 에이전트 간 핸드오프, 트레이싱처럼 AI 에이전트에 공통으로 필요한 부분을 제공하는 소프트웨어 라이브러리입니다. 개발자가 이를 처음부터 만들 필요가 없습니다.
에이전트 하네스
에이전트 하네스(agent harness)는 모델을 실제로 동작하는 에이전트로 만드는 주변 소프트웨어입니다. 루프, 도구, 시스템 프롬프트, 권한, 컨텍스트 관리, 그리고 세션 사이에 진행 상황을 이어 주는 파일이 여기에 포함됩니다.
에이전트 훅
에이전트 훅(agent hooks)은 코딩 에이전트가 도구 호출 전이나 파일 수정 후처럼 작업 중 정해진 시점에 자동으로 실행하는, 사용자가 정의한 명령이나 스크립트입니다. 에이전트의 동작을 점검하거나, 막거나, 확장하는 데 씁니다.
에이전틱 AI
에이전틱 AI(agentic AI)는 언어 모델이 작업 수행 방식을 어느 정도 통제하는 소프트웨어를 말합니다. 모델이 단계를 계획하고, 도구를 고르고, 결과에 따라 행동하며, 한 번의 프롬프트와 응답보다 더 큰 자율성을 가집니다.
에이전틱 RAG
에이전틱 RAG(agentic RAG)는 AI 에이전트가 실행하는 검색 증강 생성입니다. 에이전트가 언제 검색할지, 무엇을 검색할지, 어떤 출처를 쓸지 정하고, 처음 결과가 부족하면 다시 검색할 수 있습니다.
자기회귀 모델
자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.

B

BM25
BM25는 키워드 검색을 위한 순위 공식입니다. 질의의 단어가 문서에 얼마나 자주 나오는지로 각 문서에 점수를 매기며, 드문 단어에 더 큰 가중치를 주고 긴 문서와 반복된 단어에는 점수를 덜 줍니다.
BrowseComp
BrowseComp는 OpenAI가 만든 1,266개의 어려운 질문으로 이루어진 벤치마크로, 브라우징 에이전트가 얽혀 있고 찾기 어려운 사실을 웹에서 끈질기게 찾아낼 수 있는지 시험합니다. 답은 짧아서 확인하기 쉽습니다.
배치 API
배치 API(batch API)는 대량의 모델 요청을 하나의 작업으로 제출하고 결과를 나중에 받는 방식으로, 호출마다 기다릴 필요가 없습니다. 제공업체는 여유 용량이 있을 때 작업을 실행하며, 보통 요금을 더 적게 받습니다.
베이스 모델
베이스 모델(base model)은 지시 튜닝이나 인간 피드백 학습을 거치기 전, 사전 학습을 막 마친 언어 모델입니다. 지시를 따르거나 대화를 이어 가기보다 주어진 텍스트를 계속 이어 씁니다.
벤치마크 오염
벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
브라우저 에이전트
브라우저 에이전트(browser agent)는 웹 브라우저를 제어해 검색, 클릭, 양식 작성, 페이지 읽기 같은 작업을 처리하는 AI 에이전트로, 보이는 창 없이 헤드리스 브라우저로 실행되는 경우가 많습니다.

C

C2PA 콘텐츠 자격 증명
C2PA 콘텐츠 자격 증명(C2PA content credentials)은 Coalition for Content Provenance and Authenticity의 개방형 표준이 정의하는 서명된 출처 기록으로, 이미지, 영상, 오디오 파일, 문서와 함께 이동하며 그 출처와 편집 내역을 기록합니다.
ControlNet
ControlNet은 텍스트 이미지 확산 모델이 텍스트 프롬프트에 더해 엣지 맵, 깊이 맵, 사람의 자세 같은 구조 가이드를 따르게 하는 신경망 애드온입니다.
CPU 오프로딩
CPU 오프로딩(CPU offloading)은 GPU 메모리에 다 들어가지 않는 모델의 일부 층을 시스템 RAM이나 디스크에 두고 나머지에 GPU를 써서 모델을 실행하는 방법입니다. 모델은 돌아가지만 더 느립니다.
사고의 사슬(Chain-of-thought)
사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.
연속 배칭
연속 배칭(continuous batching)은 배치 전체가 끝나기를 기다리지 않고, 생성 단계마다 실행 중인 GPU 배치에 새 요청을 넣고 끝난 요청을 빼는 모델 서빙 기법입니다. GPU를 쉬지 않게 하고 처리량을 높입니다.
청킹
청킹(chunking)은 긴 문서를 임베딩하고 색인하기 전에 더 작은 구절로 나누는 단계로, 검색 시스템이 문서 가운데 질의에 답하는 부분만 찾아 돌려줄 수 있게 합니다.
컨텍스트 부패
컨텍스트 부패(context rot)는 입력이 길어질수록 언어 모델의 정확성과 신뢰성이 떨어지는 현상입니다. 입력이 여전히 컨텍스트 윈도 안에 들어가고 필요한 정보가 그 안에 있어도 일어납니다.
컨텍스트 압축
컨텍스트 압축(context compaction)은 에이전트가 컨텍스트 윈도 한도에 가까워진 대화를 요약하고, 그 요약에서 시작하는 새 윈도에서 이어 가는 단계입니다. 그래서 긴 작업을 계속할 수 있습니다.
컨텍스트 엔지니어링
컨텍스트 엔지니어링(context engineering)은 작업 동안 언어 모델의 컨텍스트 윈도에 들어가는 모든 것을 고르고 관리하는 일입니다. 지시, 검색한 문서, 도구 정의, 도구 결과, 대화 기록이 여기에 포함됩니다.
컨텍스트 윈도
컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
컴퓨터 사용
컴퓨터 사용(computer use)은 AI 모델이 스크린숏을 보고 마우스 클릭과 키 입력을 보내 사람처럼 컴퓨터를 조작하는 능력으로, API가 없는 소프트웨어도 다룰 수 있게 합니다.
코딩 에이전트
코딩 에이전트(coding agent)는 소프트웨어를 직접 다루는 AI 에이전트입니다. 사람이 붙여 넣을 코드를 제안하는 데 그치지 않고, 코드베이스를 읽고, 파일을 수정하고, 명령과 테스트를 실행하며, 변경이 동작할 때까지 반복합니다.
코사인 유사도
코사인 유사도(cosine similarity)는 두 벡터 사이의 각도로 둘이 얼마나 비슷한지 재는 값입니다. -1부터 1까지의 범위를 가지며, 벡터의 길이는 무시하고, 검색에서 임베딩을 비교하는 가장 흔한 방법입니다.
크로스 인코더
크로스 인코더(cross-encoder)는 질의와 문서를 한 번에 함께 읽고 관련성 점수를 내는 모델입니다. 따로 만든 임베딩을 비교하는 것보다 정확하지만, 컬렉션 전체에 실행하기에는 너무 느립니다.

D

결정 모델
결정 모델(decision model)은 자유로운 텍스트를 생성하는 대신, 목록에서의 선택, 기준표에 따른 점수, 예/아니요 확률처럼 타입이 정해진 답을 돌려주도록 만든 모델입니다.
데이터 레지던시
데이터 레지던시(data residency)는 고객의 데이터를 EU처럼 선택한 지리적 지역에 저장하고, 흔히 처리도 그 지역에서 하게 하는 통제 수단입니다. 데이터가 어디에 있어야 하는지에 관한 팀 자체의 법적, 계약상, 고객 요구를 충족하게 합니다.
데이터 유출(AI 에이전트)
AI 에이전트에서 데이터 유출(data exfiltration)은 공격자가 에이전트를 속여 접근 가능한 비공개 데이터를 읽게 하고, 웹 요청, 이메일, 이미지 링크 등 공격자가 통제하는 경로로 내보내게 하는 것을 말합니다.
딥 리서치(AI)
딥 리서치(deep research)는 AI 에이전트 기능으로, 연구 질문을 계획하고, 웹 검색을 여러 번 실행하고, 찾은 출처를 읽은 뒤, 인용이 달린 긴 보고서를 씁니다. 몇 초가 아니라 몇 분이 걸립니다.
딥페이크
딥페이크(deepfake)는 AI로 만들거나 변조한 이미지, 오디오, 영상 콘텐츠로, 실제 인물, 장소, 사건을 일어나지 않은 방식으로 그럴듯하게 보여 주어 진짜로 통할 수 있는 것을 말합니다.
문서 파싱
문서 파싱(document parsing)은 PDF, 스캔본, 슬라이드, 스프레드시트 같은 파일을 소프트웨어가 쓸 수 있는 구조화된 텍스트로 바꾸는 작업입니다. 평평한 문자열이 아니라 제목, 읽는 순서, 표, 이미지를 유지합니다.
직접 선호 최적화(DPO)
직접 선호 최적화(DPO, direct preference optimization)는 보상 모델과 강화 학습 대신 단순한 분류 방식의 손실 함수를 써서, 선호된 답과 거부된 답의 쌍으로 직접 학습해 언어 모델을 사람의 선호에 맞추는 방법입니다.
확산 모델
확산 모델(diffusion model)은 여러 단계에 걸쳐 노이즈를 조금씩 제거하면서 무작위 노이즈를 이미지 같은 데이터로 바꾸는 법을 배우는 생성 모델입니다.
확산 언어 모델
확산 언어 모델(dLLM, diffusion language model)은 한 번에 토큰 하나씩 쓰는 대신, 완전히 마스킹되거나 노이즈가 섞인 시퀀스에서 시작해 여러 단계에 걸쳐 많은 토큰 위치를 병렬로 다듬어 텍스트를 생성합니다.

E

Elo 레이팅(모델 아레나)
모델 아레나에서 Elo 레이팅(Elo rating)은 모델 쌍 사이의 수많은 일대일 투표로 계산한 점수로, 두 점수의 차이가 한 모델의 답이 다른 모델의 답보다 얼마나 자주 선호될지를 예측합니다.
EU AI Act
EU AI Act(Regulation (EU) 2024/1689)는 인공지능에 관한 유럽연합의 법입니다. AI 시스템을 만들고 배포하는 이들에게 전면 금지부터 투명성 의무까지 위험 기반 규칙을 정하며, 2025년부터 단계적으로 시행됩니다.
임베딩
임베딩(embedding)은 텍스트, 이미지, 기타 데이터를 나타내는 숫자 목록(벡터)으로, 의미가 비슷한 항목끼리 가까운 벡터를 갖도록 만들어집니다.
임베딩 차원
임베딩 차원(embedding dimension)은 임베딩 모델이 출력하는 각 벡터의 값 개수입니다. 차원이 많을수록 더 많은 세부 정보를 담을 수 있지만, 값이 하나 늘 때마다 항목당 저장, 메모리, 검색 비용이 늡니다.

F

파운데이션 모델
파운데이션 모델(foundation model)은 폭넓은 데이터로 대규모 학습한 큰 모델로, 한 가지 작업을 위해 만들어지는 대신 프롬프팅이나 미세 조정을 통해 여러 하위 작업에 맞춰 조정할 수 있습니다.
파인튜닝(미세 조정)
파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
퓨샷 프롬프팅
퓨샷 프롬프팅(few-shot prompting)은 프롬프트 안에 작업의 풀이 예시 몇 개를 넣어, 언어 모델이 재학습 없이 새로운 입력에 그 패턴을 따라 하게 하는 방법입니다.
프런티어 모델
프런티어 모델(frontier model)은 특정 시점에 이용할 수 있는 가장 유능한 범용 AI 모델 가운데 하나로, 보통 자금이 풍부한 연구소에서 나옵니다. 상대적인 용어이며 AI 안전 정책에도 등장합니다.

G

GGUF
GGUF는 모델의 가중치, 토크나이저, 메타데이터를 파일 하나에 저장하는 바이너리 파일 형식으로, llama.cpp 같은 GGML 기반 도구에서 빠르게 불러와 로컬 추론을 하도록 만들어졌으며 흔히 양자화된 형태로 쓰입니다.
GPQA
GPQA(Graduate-Level Google-Proof Q&A)는 생물학, 물리학, 화학 분야의 어려운 객관식 문제 448개로 이루어진 벤치마크입니다. 전문가들이 작성해, 숙련된 비전문가는 웹을 무제한으로 검색해도 답하지 못하도록 만들었습니다.
GPU
GPU(graphics processing unit)는 많은 계산을 병렬로 실행하도록 만든, 작은 코어가 많은 프로세서입니다. 행렬 연산 속도 덕분에 AI 모델을 학습하고 실행하는 표준 하드웨어가 되었습니다.
GPU 클라우드
GPU 클라우드(GPU cloud)는 AI 학습, 미세 조정, 추론을 위해 GPU 머신을 시간 단위나 초 단위로 빌려주는 서비스입니다. 네오클라우드(neocloud)라고도 불리는 전문 업체는 GPU에 집중하며, 대형 범용 클라우드보다 저렴한 경우가 많습니다.
GraphRAG
GraphRAG는 LLM이 먼저 문서 컬렉션에서 지식 그래프를 만들고 관련된 개체 묶음의 요약을 쓴 뒤, 그 요약과 그래프 연결을 이용해 질문에 답하는 검색 방식입니다.
가드레일(AI)
가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.
가이던스 스케일(CFG)
가이던스 스케일(guidance scale), 또는 CFG 스케일은 확산 이미지 생성기에서 출력이 프롬프트를 얼마나 강하게 따를지 조절하는 설정입니다. 값이 높을수록 프롬프트를 더 충실히 따르지만 다양성이 줄어듭니다.
골든 데이터셋
골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.
그라운딩
그라운딩(grounding)은 언어 모델의 답을 검색 결과, 문서, 데이터베이스 같은 구체적이고 확인 가능한 출처에 묶어, 그 주장이 학습 데이터만이 아니라 제공된 근거에 기반하게 하는 것입니다.
생성형 엔진 최적화
생성형 엔진 최적화(GEO, generative engine optimization)는 AI 검색 엔진과 채팅 어시스턴트가 웹 콘텐츠를 찾고, 인용하고, 생성한 답변에 출처로 밝히도록 콘텐츠를 다듬는 일입니다.

H

HNSW
HNSW(hierarchical navigable small world)는 근사 최근접 이웃 검색을 위한 그래프 기반 인덱스입니다. 벡터를 여러 층에 걸쳐 이웃과 연결해, 검색이 가장 가까운 결과 쪽으로 빠르게 건너뛸 수 있게 합니다.
HumanEval
HumanEval은 OpenAI가 2021년에 공개한 코드 생성 벤치마크입니다. 함수 시그니처, docstring, 단위 테스트를 갖춘 손으로 쓴 Python 문제 164개로, 모델이 실제로 동작하는 코드를 쓰는지 확인합니다.
Humanity's Last Exam
Humanity's Last Exam(HLE)은 수십 개 과목에 걸쳐 전문가가 쓴 2,500개의 질문으로 이루어진 벤치마크로, AI 모델에게 매우 어렵도록 만들었습니다. 답은 명확하고 확인 가능하지만 온라인에서 빠르게 찾을 수는 없습니다.
인간 평가
인간 평가(human evaluation)는 자동화된 지표 대신 사람이 AI 출력을 판단하는 것입니다. 예를 들어 평가자가 기준표에 따라 답에 점수를 매기거나, 블라인드 테스트에서 익명의 두 응답 중 더 나은 것을 고릅니다.
하이브리드 검색
하이브리드 검색(hybrid search)은 같은 질의로 키워드 검색과 벡터 검색을 함께 실행하고 두 순위 목록을 합쳐, 결과가 정확한 단어와 의미 모두로 일치할 수 있게 합니다.
환각(AI)
환각(hallucination)은 AI 모델의 출력이 유창하고 자신감 있게 들리지만 거짓이거나, 출처의 뒷받침이 없거나, 지어낸 것인 경우를 말합니다. 꾸며 낸 인용, 발언, 통계, API 함수 등이 그 예입니다.
휴먼 인 더 루프
휴먼 인 더 루프(HITL, human-in-the-loop)는 AI 시스템이 정해진 지점에서 멈추고 사람이 다음 단계를 승인, 수정, 거부하게 하는 설계로, 위험하거나 불확실한 동작이 자동으로 실행되지 않게 합니다.

I

이미지 투 비디오
이미지 투 비디오(image-to-video)는 정지 이미지를 짧은 영상 클립으로 바꾸는 작업으로, 보통 이미지를 첫 프레임으로 쓰고 텍스트 프롬프트로 움직임을 설명합니다.
이미지 투 이미지
이미지 투 이미지(image-to-image)는 기존 이미지와 프롬프트로 새 이미지를 생성하는 작업으로, 원본 구조의 일부를 유지하면서 스타일, 디테일, 내용을 바꿉니다.
인스트럭트 모델
인스트럭트 모델(instruct model)은 베이스 언어 모델을 지시와 좋은 답의 쌍으로, 흔히 인간 피드백으로도 추가 학습시켜, 텍스트를 이어 쓰는 대신 요청을 따르게 만든 모델입니다.
인페인팅과 아웃페인팅
인페인팅(inpainting)은 이미지에서 마스크를 씌운 영역을 그림의 나머지와 어울리는 새로 생성한 내용으로 채우는 것입니다. 아웃페인팅(outpainting)은 같은 개념을 가장자리 바깥에 적용해 이미지를 프레임 너머로 넓히는 것입니다.
추론 제공업체
추론 제공업체(inference provider)는 자체 하드웨어에서 AI 모델을 실행하고, 보통 토큰 단위로 과금하는 API로 이용권을 파는 회사입니다. GPU를 직접 관리하지 않고 프롬프트를 보내 출력을 받습니다.
추론(인퍼런스)
추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.

J

탈옥(LLM)
탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.

K

KV 캐시
KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
지식 그래프
지식 그래프(knowledge graph)는 정보를 이름 붙은 관계로 연결된 개체(사람, 제품, 장소, 개념)로 저장해, 소프트웨어가 느슨한 텍스트를 뒤지는 대신 사실 사이의 연결을 따라갈 수 있게 합니다.
지식 베이스(AI)
AI 앱에서 지식 베이스(knowledge base)는 어시스턴트나 에이전트가 질문에 답하려고 검색하는 문서와 데이터의 모음으로, 도움말 문서, 정책, 제품 문서 등이 있으며 모델 자체와는 따로 관리됩니다.
지식 증류
지식 증류(knowledge distillation)는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 흉내 내도록 학습시키는 방법으로, 교사의 능력을 상당 부분 유지하면서 비용은 낮은 증류 모델을 만듭니다.
지식 컷오프
지식 컷오프(knowledge cutoff)는 그 이후로 모델이 정보를 거의 또는 전혀 갖지 않는 날짜입니다. 학습 데이터가 대략 그 무렵까지 수집되었기 때문입니다. 그 이후의 사건은 프롬프트에 주지 않는 한 모델이 알지 못합니다.

L

LLM 게이트웨이
LLM 게이트웨이(LLM gateway)는 애플리케이션과 모델 제공업체 사이에 놓이는 프록시 서버로, 하나의 API를 노출하고 키, 라우팅, 폴백, 레이트 리밋, 로그 기록, 지출 추적을 한곳에서 처리합니다.
LLM 관측성(LLM observability)
LLM 관측성(LLM observability)은 AI 애플리케이션이 프로덕션에서 하는 일, 즉 프롬프트, 응답, 도구 호출, 지연 시간, 토큰 사용량, 비용을 검색 가능한 트레이스로 기록하는 것입니다. 이를 통해 실패를 디버깅하고 시스템이 시간에 따라 어떻게 동작하는지 볼 수 있습니다.
LLM 라우팅(LLM routing)
LLM 라우팅(LLM routing)은 각 요청을 가장 알맞은 언어 모델로 보내는 방식입니다. 보통 쉬운 프롬프트는 저렴한 모델로, 어려운 프롬프트는 더 강한 모델로 보내 비용, 속도, 품질의 균형을 맞춥니다.
LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
LLM-as-a-judge
LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
llms.txt
llms.txt는 웹사이트가 보통 /llms.txt 경로에 Markdown 파일을 게시해, 사이트를 요약하고 가장 유용한 페이지로 가는 링크를 언어 모델이 읽기 쉬운 형태로 제공하자는 제안된 관례입니다.
LMArena
LMArena는 처음에 Chatbot Arena로 알려졌던 공개 플랫폼으로, 크라우드소싱한 사람들의 투표로 AI 모델 순위를 매깁니다. 사용자는 익명의 두 모델이 같은 프롬프트에 답하는 것을 보고 더 나은 응답을 고릅니다.
LoRA
LoRA(low-rank adaptation, 저랭크 적응)는 모델의 원래 가중치를 고정하고 레이어에 추가한 작은 저랭크 행렬만 학습하는 파인튜닝 방법입니다. 바뀌는 파라미터가 훨씬 적어 GPU 메모리가 훨씬 덜 필요합니다.
대규모 언어 모델
대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
레이아웃 분석
레이아웃 분석(layout analysis)은 문서 파싱의 한 부분으로, 페이지에서 제목, 문단, 표, 그림, 캡션, 바닥글 같은 영역을 찾아 각각에 레이블을 붙이고, 사람이 읽는 순서를 알아냅니다.
로컬 LLM(Local LLM)
로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.
리더보드(AI)
AI 리더보드(leaderboard)는 하나 이상의 벤치마크 점수나 사람의 선호 투표로 모델의 순위를 매긴 공개 표로, 새 모델이 시험될 때마다 갱신되어 독자가 모델을 나란히 비교할 수 있게 합니다.
립싱크(AI 영상)
AI 립싱크(lip sync)는 모델을 써서 영상이나 이미지 속 인물의 입 움직임을 번역하거나 고쳐 쓴 대사 같은 새 오디오 트랙에 맞게 바꾸는 것입니다.
지연 상호작용(ColBERT)
지연 상호작용(late interaction)은 ColBERT가 소개한 검색 방법으로, 질의와 각 문서를 따로 토큰마다 벡터 하나씩으로 인코딩한 뒤, 저렴한 마지막 단계에서 그 토큰 벡터들을 비교해 일치 점수를 매깁니다.

M

Matryoshka 임베딩
Matryoshka 임베딩(Matryoshka embeddings)은 앞쪽 값에 가장 많은 정보가 담기도록 학습된 벡터입니다. 더 짧은 길이로 잘라도 쓸 만한 검색 결과를 얻을 수 있어 저장 공간을 아끼고 검색 속도를 높입니다.
MCP 리소스와 프롬프트
MCP 리소스와 프롬프트(MCP resources and prompts)는 MCP 서버가 도구 외에 제공할 수 있는 두 가지입니다. 리소스는 각각 URI를 가진 데이터로 앱이 컨텍스트에 추가할 수 있고, 프롬프트는 사용자가 골라 실행하는 재사용 가능한 메시지 템플릿입니다.
MCP 서버(MCP server)
MCP 서버(MCP server)는 Model Context Protocol을 통해 도구, 데이터 리소스, 프롬프트 템플릿을 AI 애플리케이션에 제공하는 프로그램입니다. MCP 호환 클라이언트라면 별도 통합 코드 없이 이를 쓸 수 있습니다.
MCP 전송 방식(stdio, Streamable HTTP)
MCP 전송 방식(MCP transport)은 클라이언트와 서버 사이에서 MCP의 JSON-RPC 메시지를 실어 나르는 채널입니다. 명세는 두 가지를 정의합니다. 로컬 하위 프로세스로 실행하는 서버를 위한 stdio, 그리고 네트워크로 접속하는 서버를 위한 Streamable HTTP입니다.
MCP 클라이언트(MCP client)
MCP 클라이언트(MCP client)는 AI 애플리케이션에서 MCP 서버 하나와의 연결 하나를 맡는 부분입니다. 기능을 협상하고, 그 서버와 호스트 앱 사이에서 요청, 결과, 알림을 전달합니다.
MMLU
MMLU(Massive Multitask Language Understanding)는 초등 수학과 미국 역사부터 법학과 컴퓨터 과학까지 57개 과목을 다루는 객관식 벤치마크로, 언어 모델의 폭넓은 지식과 문제 해결 능력을 시험합니다.
Model Context Protocol
Model Context Protocol(MCP)은 AI 애플리케이션이 외부 도구, 데이터, 프롬프트에 연결하는 방법을 정의하는 개방형 표준으로, 호스트 애플리케이션, 그 클라이언트, 별도의 서버 사이에서 JSON-RPC 메시지를 사용합니다.
MTEB
MTEB(Massive Text Embedding Benchmark)는 텍스트 임베딩 모델을 검색, 클러스터링, 분류, 리랭킹 등 여러 작업 유형에 걸쳐 많은 데이터셋과 언어로 채점하는 공개 벤치마크이자 리더보드입니다.
멀티 에이전트 시스템(Multi-agent system)
멀티 에이전트 시스템(multi-agent system)은 각자 지시, 도구, 컨텍스트를 가진 여러 AI 에이전트가 작업의 일부를 맡아 처리하고, 결과를 서로 또는 조율 에이전트에 넘기는 구성입니다.
멀티모달 모델(Multimodal model)
멀티모달 모델(multimodal model)은 텍스트, 이미지, 오디오, 동영상 같은 여러 종류의 데이터를 별도 시스템이 아니라 하나의 모델 안에서 받아들이고, 경우에 따라 생성하기도 하는 AI 모델입니다.
메타데이터 필터링(Metadata filtering)
메타데이터 필터링(metadata filtering)은 날짜, 작성자, 언어, 접근 그룹 같은 저장된 속성이 주어진 조건에 맞는 항목으로 검색을 제한하는 것으로, 벡터 유사도 순위 매기기와 함께 또는 그 전에 적용합니다.
모델 가중치(Model weights)
모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
모델 라이선스(Model license)
모델 라이선스(model license)는 모델의 가중치, 그리고 경우에 따라 코드와 데이터를 사용, 변경, 공유할 수 있는 법적 조건입니다. 허용적인 오픈 라이선스부터 비상업용 또는 자체 제한 라이선스까지 다양합니다.
모델 서빙(Model serving)
모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
모델 카드(Model card)
모델 카드(model card)는 머신러닝 모델과 함께 공개되는 짧은 문서로, 모델의 용도, 학습 및 평가 방식, 성능이 떨어지는 영역, 그리고 써야 할 방식과 쓰지 말아야 할 방식을 설명합니다.
모델 파라미터(Model parameters)
모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.
모델 폴백
모델 폴백(model fallback)은 첫 번째 선택이 실패하거나, 시간 초과되거나, 레이트 리밋에 걸리거나, 입력을 거부할 때 요청을 예비 모델이나 제공업체로 보내는 규칙입니다. 장애가 나도 AI 기능이 계속 동작하게 합니다.
전문가 혼합(Mixture of experts)
전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.

N

NPU
NPU(neural processing unit, 신경망 처리 장치)는 신경망 연산을 빠르고 적은 전력으로 실행하도록 만든 칩, 또는 더 큰 칩 안의 블록입니다. 휴대폰과 노트북은 NPU로 작은 AI 모델을 기기에서 실행합니다.
노코드 AI 앱 빌더(No-code AI app builder)
노코드 AI 앱 빌더(no-code AI app builder)는 평이한 말로 쓴 설명이나 시각적 편집기를 작동하는 앱으로 바꿔 주는 도구로, 보통 호스팅과 데이터베이스가 포함되어 있어 코드를 쓰지 않고도 소프트웨어를 내놓을 수 있습니다.
수치 정밀도(FP16, BF16, FP8)
수치 정밀도(numeric precision)는 모델의 가중치를 저장하고 연산을 수행하는 데 쓰는 숫자 형식으로, FP32, FP16, BF16, FP8, INT4 등이 있습니다. 숫자당 비트가 적을수록 메모리가 줄고 추론이 빨라지지만, 정확도가 떨어질 위험이 있습니다.

O

AI 에이전트용 OAuth
AI 에이전트용 OAuth(OAuth for AI agents)는 OAuth 인가 표준을 사용해, 에이전트나 MCP 클라이언트가 사용자의 비밀번호나 광범위한 API 키를 갖는 대신 범위가 제한되고 철회할 수 있는 액세스 토큰으로 사용자를 대신해 행동하게 하는 것입니다.
ONNX
ONNX(Open Neural Network Exchange)는 머신러닝 모델을 위한 개방형 파일 형식입니다. 모델을 표준 연산자의 그래프로 기술하므로, 한 프레임워크에서 학습하고 다른 곳에서 실행할 수 있습니다.
OpenAI 호환 API(OpenAI-compatible API)
OpenAI 호환 API(OpenAI-compatible API)는 다른 제공업체나 도구의 엔드포인트로, OpenAI API와 같은 요청 및 응답 형식을 받아들입니다. 그래서 OpenAI용으로 쓴 코드를 base URL, 키, 모델 이름만 바꿔 전환할 수 있습니다.
OSWorld
OSWorld는 컴퓨터 사용 에이전트를 위한 벤치마크로, Ubuntu, Windows, macOS 같은 실제 운영체제를 실행하고 웹 및 데스크톱 앱에 걸친 369개의 열린 과제로 에이전트를 채점하며, 결과는 스크립트로 확인합니다.
광학 문자 인식(OCR)
광학 문자 인식(optical character recognition, OCR)은 스캔한 페이지, 사진, 스크린샷 같은 이미지에서 텍스트를 읽어, 검색하거나 복사하거나 모델에 넣을 수 있는 기계 판독 문자로 바꾸는 소프트웨어입니다.
오픈 웨이트 모델(Open-weight model)
오픈 웨이트 모델(open-weight model)은 학습된 가중치가 공개되어 누구나 내려받아 실행할 수 있는 모델입니다. 학습 코드나 전체 학습 데이터가 빠진 경우가 많아 반드시 오픈소스인 것은 아닙니다.
오픈소스 AI(Open source AI)
오픈소스 AI(open source AI)는 누구나 사용, 연구, 수정, 공유할 수 있는 조건으로 공개되고, 이를 바꾸는 데 필요한 요소, 즉 학습 데이터 정보, 전체 코드, 모델 파라미터에 접근할 수 있는 AI 시스템입니다.
출력 토큰(Output tokens)
출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.

P

PagedAttention
PagedAttention은 운영체제의 페이지처럼, 언어 모델의 KV cache를 GPU 메모리에서 서로 붙어 있을 필요가 없는 작은 고정 크기 블록에 저장하는 방법입니다. 낭비되는 메모리를 줄여 서버가 한 번에 더 많은 요청을 처리할 수 있게 합니다.
pass@k
pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.
PII 마스킹(PII redaction)
PII 마스킹(PII redaction)은 이름, 전화번호, 주소, 카드 번호 같은 개인 식별 정보를 텍스트나 이미지에서 찾아내, 모델에 보내거나 로그에 저장하거나 다른 사람에게 보여 주기 전에 지우거나 가리는 것입니다.
사전 학습(Pretraining)
사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.
파라미터 효율적 파인튜닝(PEFT)
파라미터 효율적 파인튜닝(parameter-efficient fine-tuning, PEFT)은 사전 학습된 모델에서 새로 추가하거나 선택한 소수의 파라미터만 학습하고 나머지는 고정해 모델을 적응시키는 방법입니다. 전체 파인튜닝에 필요한 메모리, 연산, 저장 공간을 줄입니다.
프롬프트 엔지니어링(Prompt engineering)
프롬프트 엔지니어링(prompt engineering)은 모델의 가중치를 바꾸지 않고, 애플리케이션에 필요한 출력을 내도록 언어 모델에 주는 지시와 예시를 작성하고, 구성하고, 테스트하는 일입니다.
프롬프트 인젝션(Prompt injection)
프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.
프롬프트 캐싱(Prompt caching)
프롬프트 캐싱(prompt caching)은 긴 시스템 프롬프트나 문서처럼 반복되는 프롬프트 접두부의 처리된 형태를 저장해, 같은 접두부로 시작하는 이후 요청을 더 싸고 빠르게 만드는 API 기능입니다.

Q

양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
쿼리 재작성(Query rewriting)
쿼리 재작성(query rewriting)은 검색 전에 사용자의 질문을 명확히 하거나, 나누거나, 관련 용어를 더하는 식으로 바꿔, 검색기가 답을 담은 구절을 찾을 가능성을 높이는 것입니다.

R

ReAct(추론과 행동)
ReAct(reasoning and acting, 추론과 행동)는 언어 모델이 추론 단계를 쓰고, 검색이나 도구 호출 같은 행동을 하고, 그 결과를 읽은 뒤 다음 단계로 넘어가는 과정을 번갈아 반복하는 프롬프팅 패턴입니다.
RLHF
RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
검색 증강 생성(Retrieval-augmented generation)
검색 증강 생성(retrieval-augmented generation, RAG)은 시스템이 먼저 문서 모음에서 질문과 관련된 구절을 검색한 뒤, 그 구절을 언어 모델에 주어 답변이 이를 바탕으로 하게 하는 패턴입니다.
검색 지표(recall@k, nDCG, MRR)
검색 지표(retrieval metrics)는 검색 시스템이 관련 문서를 얼마나 잘 반환하는지 점수로 나타냅니다. Recall@k는 상위 k개에 관련 항목이 얼마나 들어 있는지, nDCG는 관련 항목을 높은 순위에 올렸는지, MRR은 첫 번째 정답이 얼마나 일찍 나오는지를 봅니다.
리랭킹(Reranking)
리랭킹(reranking)은 후보 문서의 짧은 목록을 받아, 첫 검색보다 더 정확하지만 느린 모델로 쿼리와의 관련도에 따라 다시 정렬하는 두 번째 검색 단계입니다.
보상 모델(Reward model)
보상 모델(reward model)은 인간 선호 데이터로 학습해 응답이 얼마나 좋은지 점수를 매기는 별도의 모델입니다. 그다음 강화 학습이 이 점수를 써서 언어 모델을 사람들이 선호하는 답 쪽으로 조정합니다.
속도 제한(Rate limit, API)
속도 제한(rate limit)은 계정이 일정 시간 동안 API를 쓸 수 있는 양의 상한으로, 보통 분당 요청 수(RPM)와 분당 토큰 수(TPM)로 정합니다. 한도를 넘는 요청은 거부되며, 대개 HTTP 429 오류가 납니다.
추론 모델(Reasoning model)
추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
회귀 테스트(LLM 앱)
LLM 앱의 회귀 테스트(regression testing)는 프롬프트, 모델, 검색 설정, 도구를 바꿀 때마다 고정된 평가 케이스를 다시 실행해, 예전에는 잘 되다가 이제 실패하는 케이스를 잡아내는 것입니다.

S

Safetensors
Safetensors는 Hugging Face가 만든 모델 가중치 저장용 파일 형식입니다. Python pickle 파일과 달리 불러올 때 숨겨진 코드가 실행될 수 없으며, 개별 텐서를 메모리 매핑으로 빠르게 불러올 수 있습니다.
SOC 2
SOC 2는 외부 CPA 감사 법인이 AICPA 기준에 따라 작성하는 감사 보고서로, 서비스 조직의 보안, 가용성, 처리 무결성, 기밀성, 개인정보 보호 관련 통제를 다룹니다.
SWE-bench
SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
구조화된 출력(Structured output)
구조화된 출력(structured output)은 언어 모델의 응답이 직접 정의한 형식, 보통 JSON schema를 따르게 하는 API 기능입니다. 그래서 코드가 자유 텍스트를 긁어내는 대신 응답을 안정적으로 파싱할 수 있습니다.
상태 공간 모델(State space model)
상태 공간 모델(state space model, SSM)은 토큰을 하나씩 읽으면서 고정 크기의 은닉 상태를 앞으로 전달하는 시퀀스 모델로, 비용이 입력 길이에 비례해 선형으로 늘어납니다. 가장 잘 알려진 예는 Mamba입니다.
서버리스 GPU(Serverless GPU)
서버리스 GPU(serverless GPU)는 코드나 모델을 배포하면 플랫폼이 요청이 들어올 때만 GPU 워커를 시작하고, 실행된 시간만큼 청구하며, 유휴 시에는 0으로 축소하는 클라우드 모델입니다.
서브에이전트(Subagent)
서브에이전트(subagent)는 주 에이전트가 작업을 넘겨주는 보조 에이전트입니다. 흔히 자체 지시와 도구를 가지고 새로운 별도의 컨텍스트 윈도우에서 일하며, 결과의 요약만 돌려줍니다.
셀프 호스팅(AI 모델)
AI 모델 셀프 호스팅(self-hosting)은 제공업체의 API를 호출하는 대신, 자체 서버, 임대한 GPU, 노트북처럼 직접 통제하는 하드웨어에서 모델을 실행하는 것입니다. 모델을 고르고 데이터를 지킬 수 있지만, 인프라를 직접 운영해야 합니다.
소형 언어 모델(Small language model)
소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.
스트리밍(LLM 출력)
스트리밍(streaming)은 전체 응답을 기다리지 않고, 토큰이 생성되는 대로 LLM의 출력을 조금씩 클라이언트에 보내는 방식입니다. 완전한 답이 훨씬 오래 걸려도 사용자는 곧바로 텍스트가 나타나는 것을 봅니다.
스펙 주도 개발(Spec-driven development)
스펙 주도 개발(spec-driven development)은 코딩 에이전트와 일하는 방식의 하나로, 먼저 무엇을 왜 만들지 명세를 쓴 다음 에이전트가 이를 계획, 작업 목록, 그리고 마지막으로 코드로 바꾸게 합니다.
슬래시 명령(Slash command)
슬래시 명령(slash command)은 /compact나 /review처럼 앞에 슬래시를 붙여 입력하는 지시로, AI 도구가 텍스트를 일반 메시지로 다루지 않고 내장 동작이나 저장된 프롬프트를 실행하게 합니다.
시맨틱 캐시(Semantic cache)
시맨틱 캐시(semantic cache)는 과거 LLM 응답을 저장해 두었다가, 새 요청이 이전 요청과 대략 같은 뜻일 때 저장된 응답을 돌려줍니다. 일치 여부는 정확한 텍스트 일치가 아니라 임베딩 유사도로 판단합니다. 반복되는 질문에서 비용과 지연 시간을 아낍니다.
시스템 프롬프트(System prompt)
시스템 프롬프트(system prompt)는 애플리케이션이 사용자 메시지보다 먼저 언어 모델에 보내는 지시 블록입니다. 대화 전체에 걸쳐 모델의 역할, 규칙, 어조, 출력 형식을 정합니다.
음성 대 음성 모델(Speech-to-speech model)
음성 대 음성 모델(speech-to-speech model)은 음성을 먼저 텍스트로 바꿨다가 되돌리지 않고, 말소리 오디오를 받아 말소리 오디오를 직접 내놓는 모델입니다. 실시간 음성 대화와 통역에 쓰입니다.
음성 인식(Speech-to-text)
음성 인식(speech-to-text)은 자동 음성 인식(ASR)이라고도 하며, 말소리 오디오를 글로 바꾸는 소프트웨어입니다. 전사, 자막, 음성 명령, 그리고 음성 에이전트의 듣는 쪽을 맡습니다.
지도 파인튜닝(Supervised fine-tuning)
지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
추측 디코딩(Speculative decoding)
추측 디코딩(speculative decoding)은 작고 빠른 초안 모델이 토큰 여러 개를 제안하고, 큰 모델이 한 번의 패스로 이를 확인해 받아들인 토큰을 유지하는 방식으로 텍스트 생성을 빠르게 합니다. 출력은 큰 모델 혼자 만들었을 결과와 같습니다.
합성 데이터(Synthetic data)
합성 데이터(synthetic data)는 실제 세계의 출처에서 수집하지 않고 소프트웨어, 흔히 다른 AI 모델로 생성한 학습용 또는 테스트용 데이터입니다. 빈틈을 메우거나, 예시를 저렴하게 늘리거나, 실제 개인 데이터의 노출을 피하는 데 쓰입니다.
화자 분리(Speaker diarization)
화자 분리(speaker diarization)는 오디오 녹음을 화자별로 나눠, 말한 구간마다 누가 말했는지 레이블을 붙이는 작업입니다. "누가 언제 말했는가"라는 질문에 답합니다.
희소 검색(Sparse retrieval)
희소 검색(sparse retrieval)은 쿼리와 문서를 어휘 전체에 걸친 벡터로 표현하되, 대부분의 항목이 0이고 0이 아닌 항목은 각각 단어 가중치인 방식입니다. 그래서 키워드 검색처럼 빠른 역색인을 쓸 수 있습니다.

T

Temperature(샘플링)
temperature는 언어 모델의 단어 선택이 얼마나 무작위적인지 조절하는 샘플링 설정입니다. 값이 낮으면 가장 가능성 높은 토큰을 선호하고, 값이 높으면 가능성이 낮은 토큰까지 선택이 퍼집니다.
Terminal-Bench
Terminal-Bench는 명령줄 터미널에서 일하는 AI 에이전트를 위한 벤치마크로, 과제마다 에이전트에게 실제 환경을 주고, 일이 실제로 완료되었는지 확인하는 테스트로 채점합니다.
Top-p 샘플링(Top-p sampling)
Top-p 샘플링(top-p sampling), 또는 nucleus 샘플링은 합한 확률이 기준치 p에 이르는 가장 작은 후보 집합에서만 다음 토큰을 골라, 가능성 낮은 토큰의 긴 꼬리를 잘라 냅니다.
TPU
TPU(tensor processing unit, 텐서 처리 장치)는 Google이 머신러닝용으로 직접 만든 칩으로, 대형 행렬 곱셈 장치와 고대역폭 메모리를 중심으로 설계되었습니다. Google은 TPU를 Google Cloud의 임대 서비스로 다른 회사에 제공합니다.
도구 포이즈닝(Tool poisoning)
도구 포이즈닝(tool poisoning)은 악성 도구, 흔히 MCP 서버가 도구 설명이나 메타데이터에 지시를 숨기는 공격입니다. AI 모델은 이를 지침으로 읽고, 사용자가 알아채지 못하는 사이에 데이터를 유출하거나 다른 도구를 오용할 수 있습니다.
도구 호출
도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 스키마로 함수를 설명하면 모델이 그중 하나를 호출하겠다는 구조화된 요청으로 답하고, 코드가 이를 실행해 결과를 돌려주는 모델 API 기능입니다.
음성 합성(Text-to-speech)
음성 합성(text-to-speech, TTS)은 글로 쓴 텍스트를 말소리 오디오로 바꾸는 소프트웨어입니다. 현대 TTS는 텍스트로부터 말소리를 예측하는 신경망을 쓰고, 이를 파형으로 렌더링합니다.
첫 토큰까지의 시간(Time to first token)
첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.
초당 토큰 수(Tokens per second)
초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.
테스트 타임 컴퓨트(Test-time compute)
테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.
텍스트 투 3D(Text-to-3D)
텍스트 투 3D(text-to-3D)는 글로 쓴 프롬프트로부터 3D 객체나 장면을 생성하는 작업입니다. 이미지 투 3D는 한 장 이상의 사진으로 같은 일을 합니다. 결과물은 어느 각도에서든 볼 수 있습니다.
텍스트 투 뮤직(Text-to-music)
텍스트 투 뮤직(text-to-music)은 장르, 분위기, 악기, 템포 같은 글 설명으로부터 음악 오디오를 생성하는 작업입니다. 일부 시스템은 가사를 쓰고 노래까지 부릅니다.
텍스트 투 비디오(Text-to-video)
텍스트 투 비디오(text-to-video)는 글로 쓴 프롬프트로부터 짧은 동영상 클립을 생성하는 작업입니다. 모델은 프레임 하나하나가 그럴듯하면서도 프레임 사이의 움직임이 일관된 결과를 만들어야 합니다.
텍스트 투 이미지(Text-to-image)
텍스트 투 이미지(text-to-image)는 프롬프트라고 부르는 글 설명으로부터 새 그림을 생성하는 작업입니다. 현재 대부분의 텍스트 투 이미지 모델은 텍스트를 조건으로 하는 확산 모델입니다.
텐서 병렬화(Tensor parallelism)
텐서 병렬화(tensor parallelism)는 신경망의 각 레이어를 여러 GPU에 나눠, 모든 GPU가 각 가중치 행렬의 일부를 갖고 매 단계에서 자기 몫을 계산하게 하는 방식입니다. GPU 한 장에 들어가지 않는 모델을 여러 장에 걸쳐 실행할 수 있게 합니다.
토크나이저(Tokenizer)
토크나이저(tokenizer)는 텍스트를 토큰으로 나눠 언어 모델이 처리할 수 있는 숫자 ID로 바꾸고, 모델이 출력한 ID를 다시 텍스트로 바꾸는 구성 요소입니다.
토큰 가격(Token pricing)
토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
토큰(LLM)
토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
트랜스포머(아키텍처)
트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
표 추출(Table extraction)
표 추출(table extraction)은 문서에서 표를 찾아 그 행, 열, 머리글, 셀을 흩어진 텍스트 줄이 아니라 HTML, Markdown, CSV 같은 구조화된 데이터로 다시 만드는 작업입니다.

U

통합 메모리(Unified memory)
통합 메모리(unified memory)는 CPU와 GPU가 각자 메모리를 갖는 대신 하나의 메모리 풀을 공유하는 설계입니다. Apple Silicon Mac과 비슷한 칩에서는 로컬 AI 모델이 시스템 RAM 대부분을 GPU 메모리로 쓸 수 있게 해 줍니다.

V

VRAM
VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
바이브 코딩(Vibe coding)
바이브 코딩(vibe coding)은 원하는 것을 AI 모델에 설명하고, 모델이 쓴 코드를 읽거나 검토하지 않은 채 받아들이며, 프로그램이 작동하는 것처럼 보이는지만으로 결과를 판단하는 소프트웨어 개발 방식입니다.
벡터 검색(Vector search)
벡터 검색(vector search)은 항목의 임베딩을 쿼리의 임베딩과 비교해 가장 가까운 것을 돌려주는 방식으로 항목을 찾습니다. 그래서 결과가 공통 키워드가 아니라 의미로 일치합니다.
벡터 데이터베이스(Vector database)
벡터 데이터베이스(vector database)는 임베딩을 원본 레코드와 함께 저장하고, 쿼리 벡터에 가장 가까운 저장된 벡터를 찾습니다. 보통 근사 인덱스를 써서 수백만 개 항목에서도 검색이 빠르게 유지됩니다.
보이스 클로닝(Voice cloning)
보이스 클로닝(voice cloning)은 AI를 써서 음성 합성 시스템이 특정인의 녹음으로부터 배운 그 사람의 목소리로 말하게 하는 것입니다. 일부 시스템은 짧은 샘플만 있으면 됩니다.
비전 언어 모델(Vision-language model)
비전 언어 모델(vision-language model, VLM)은 이미지와 텍스트를 입력으로 받아 텍스트를 내놓는 모델로, 그림을 설명하고, 그림에 관한 질문에 답하고, 문서를 읽고, 스크린샷에서 데이터를 추출할 수 있습니다.
음성 에이전트(Voice agent)
음성 에이전트(voice agent)는 실시간으로 음성 대화를 나누는 AI 에이전트로, 사람의 말을 듣고, 무엇을 말하거나 할지 정하고, 합성 음성으로 답하며, 흔히 전화선이나 앱을 통해 작동합니다.

W

AI용 웹 크롤링(Web crawling for AI)
AI용 웹 크롤링(web crawling for AI)은 링크나 URL 목록을 따라 웹 페이지를 자동으로 가져와, 모델 학습, 검색 인덱스 구축, 애플리케이션이 검색할 최신 콘텐츠 제공을 위한 텍스트를 모으는 것입니다.
Weight-Space Programming(가중치 공간 프로그래밍)
Weight-Space Programming(가중치 공간 프로그래밍)은 언어 모델이 신경망의 가중치를 읽어 그 신경망이 무엇을 계산하는지 파악한 뒤, 그래디언트 학습 없이 그 가중치를 직접 쓰거나 편집하는, 제안 단계의 능력입니다. 프로그래머가 코드를 편집하는 것과 비슷합니다.
워크플로 자동화(AI)
AI 워크플로 자동화(AI workflow automation)는 Zapier, Make, n8n 같은 도구로 트리거, 앱 동작, 모델 호출을 엮어 스스로 돌아가는 프로세스로 만드는 것으로, 새 고객 지원 티켓마다 요약하는 것이 그 예입니다.
워크플로와 에이전트
워크플로(workflow)는 단계가 코드에 고정된 경로를 따르는 LLM 시스템이고, 에이전트(agent)는 모델이 스스로 단계와 도구 호출을 정하게 하는 시스템입니다. 에이전틱 워크플로라는 이름으로 팔리는 많은 제품은 그 중간 어딘가에 있습니다.
월드 모델(World model)
월드 모델(world model)은 환경이 작동하는 방식을 다음에 일어날 일을 예측할 수 있을 만큼 배운 AI 모델로, 흔히 동영상이나 센서 데이터로 학습하며, 에이전트가 그 시뮬레이션 안에서 계획하거나 학습할 수 있게 합니다.

Z

데이터 무보존(Zero data retention)
데이터 무보존(zero data retention, ZDR)은 AI 제공업체가 요청에 답한 뒤 고객의 프롬프트와 출력을 보관하지 않는 방식으로, 보통 승인된 고객에게만, 그리고 해당되는 API 기능에만 제공됩니다.
제로샷(Zero-shot)
제로샷(zero-shot)은 프롬프트에 예시도, 작업별 학습도 없이 지시만으로 모델에게 작업을 시키는 것입니다. 모델은 이미 배운 것에만 의존합니다.