참고 자료
AI 용어집
AI 도구, 모델, 에이전트를 고르고 그것으로 개발할 때 만나는 용어 219개입니다. 각 용어를 한두 문장으로 정의하고 설명과 출처를 붙였습니다.
#
- τ-bench
- τ-bench(tau-bench)는 시뮬레이션된 고객 서비스 대화에서 AI 에이전트를 시험하는 벤치마크입니다. 언어 모델이 사용자 역할을 하고, 에이전트는 서면 정책 규칙을 지키면서 도메인 API 도구를 써야 합니다.
A
- Abliteration(어블리터레이션)
- Abliteration(어블리터레이션)은 언어 모델이 요청을 거부하지 못하게 하는 기법입니다. 거부를 담당하는 단 하나의 내부 방향을 찾아, 모델이 더 이상 그 방향에 쓸 수 없도록 가중치를 편집하며 재학습은 필요하지 않 습니다.
- Agent2Agent 프로토콜
- Agent2Agent 프로토콜(A2A)은 서로 다른 프레임워크와 업체가 만든 AI 에이전트가 내부 도구나 메모리를 드러내지 않고도 서로를 찾고, 작업을 맡기고, 결과를 주고받게 하는 개방형 표준입니다.
- AI 검색 엔진
- AI 검색 엔진(AI search engine)은 질의에 대해 웹 검색을 실행하고, 언어 모델로 결과를 읽은 뒤, 링크 목록만이 아니라 출처 링크가 달린 글로 된 답을 돌려주는 검색 서비스입니다.
- AI 공급망 공격
- AI 공급망 공격(AI supply-chain attack)은 애플리케이션을 직접 공격하는 대신, 내려받은 모델, LoRA 어댑터, 데이터셋, Python 패키지, MCP 서버, 에이전트 스킬처럼 애플리케이션이 의존하는 무언가를 통해 AI 애플리케이션을 장악하는 공격입니다.
- AI 레드 티밍(AI red teaming)
- AI 레드 티밍(AI red teaming)은 공개 전후에 사람 테스터나 자동화 도구로 모델이나 AI 애 플리케이션을 일부러 공격해, 유해한 출력, 탈옥, 인젝션 및 기타 실패를 찾아 고칠 수 있게 하는 일입니다.
- AI 벤치마크
- AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
- AI 아바타
- AI 아바타(AI avatar)는 생성된 영상 속 인물로, 실제 사람을 바탕으로 하는 경우가 많습니다. 대본이나 실시간 응답을 얼굴, 입술, 머리의 움직임을 맞춰 말합니다.
- AI 어시스턴트
- AI 어시스턴트(AI assistant)는 보통 대규모 언어 모델 위에 만들어진 소프트웨어 제품으로, 일상 언어로 된 요청을 받아 사람 대신 질문에 답하거나 작업을 처리합니다. ChatGPT, Claude, Gemini가 그렇습니다.
- AI 에이전트
- AI 에이전트(AI agent)는 언어 모델이 다음 단계를 스스로 정하는 시스템입니다. 고정된 스크립트를 따르는 대신 도구를 호출하고, 결과를 읽고, 작업이 끝날 때까지 이를 반복합니다.
- AI 워터마킹
- AI 워터마킹(AI watermarking)은 AI 모델이 텍스트, 이미지, 오디오, 영상을 생성하는 순간 그 안에 숨겨진, 기계가 감지할 수 있는 신호를 심는 기술입니다. 나중에 소프트웨어가 그 콘텐츠를 AI가 생성한 것으로 식별할 수 있게 합니다.
- AI 이미지 업스케일링
- AI 이미지 업스케일링(AI image upscaling), 또는 초해상도(super-resolution)는 신경망으로 이미지를 확대하면서 그럴듯한 디테일을 채워 넣어, 단순한 크기 조정보다 결과가 더 선명해 보이게 하는 기술입니다.
- AI 정렬
- AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.
- AI 코드 에디터
- AI 코드 에디터(AI code editor)는 언어 모델이 내장된 코드 에디터나 IDE입니다. 자동 완성, 코드베이스에 대한 채팅, 그리고 여러 파일에 걸쳐 변경을 계획하고 실행하는 에이전트 모드를 제공합니다.
- AI 크롤러
- AI 크롤러(AI crawler)는 AI 회사가 운영하는 자동화된 봇으로, 학습 데이터를 모으거나, AI 검색 색인을 만들거나, 사용자가 어시스턴트에게 어떤 페이지에 대해 물을 때 그 페이지를 실시간으로 가져오기 위해 웹 페이지를 수집합니다.
- AI 학습 데이터
- AI 학습 데이터(AI training data)는 웹 텍스트, 코드, 이미지, 녹취록, 레이블이 붙은 쌍처럼 모델이 학습하는 예시의 모음입니다. 그 규모, 품질, 구성, 라이선스가 모델이 할 수 있는 일과 실패하는 지점을 결정합니다.
- AIME(벤치마크)
- AIME(American Invitational Mathematics Examination)는 0부터 999까지의 정수로 답하는 15문항짜리 미국 수학 경시대회입니다. AI 연구소들은 AIME 2025 같은 기출 문제를 수학 추론 벤치마크로 씁니다.
- API 키
- API 키(API key)는 애플리케이션이 요청마다 함께 보내는 비밀 문자열로, 서비스가 어느 계정이 호출하는지 알고, 한도를 적용하고, 요금을 청구하는 데 씁니다. 키를 가진 사람은 대개 누구나 그 키를 쓸 수 있습니다.
- ARC-AGI
- ARC-AGI는 François Chollet가 시작하고 ARC Prize가 운영하는 벤치마크 시리즈로, AI 시스템이 이전에 본 적 없는 새로운 추론 퍼즐을 풀 수 있는지 시험합니다. 무엇을 아는지가 아니라 얼마나 효율적으로 배우는지를 측정합니다.
- Artificial Analysis Intelligence Index
- Artificial Analysis Intelligence Index는 벤치마킹 회사 Artificial Analysis가 만든 종합 점수로, 지식 노동, 코딩, 과학, 일반 지식에 걸친 여러 평가를 하나의 숫자로 합쳐 언어 모델을 비교합니다.
- 근사 최근접 이웃 검색
- 근사 최근접 이웃(ANN, approximate nearest neighbor) 검색은 저장된 모든 벡터를 확인하지 않고 질의와 가까운 벡터를 찾는 방법입니다. 정확한 최적의 결 과라는 보장을 포기하는 대신, 대규모 컬렉션에서 훨씬 빠르게 검색합니다.
- 어텐션 메커니즘
- 어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.
- 에이전트 권한
- 에이전트 권한(agent permissions)은 AI 에이전트가 어떤 도구, 파일, 명령, 네트워크, 계정을 쓸 수 있는지, 어떤 동작에 먼저 사람의 승인이 필요한지를 정하는 규칙입니다. 에이전트가 실수하거나 조작당해도 피해를 제한하기 위한 것입니다.
- 에이전트 루프
- 에이전트 루프(agent loop)는 AI 에이전트의 중심에서 반복되는 순환입니다. 모델이 도구 호출을 요청하면 애플리케이션이 이를 실행해 결과를 돌려주고, 모델은 다음에 할 일을 정합니다.
- 에이전트 메모리
- 에이전트 메모리(agent memory)는 사용자에 관한 사실이나 과거 작업처럼 AI 에이전트가 하나의 컨텍스트 윈도를 넘어서는 정보를 유지하게 해 주는 기법들입니다. 정보를 모델 밖에 저장했다가 필요할 때 다시 불러옵니다.
- 에이전트 샌드박스
- 에이전트 샌드박스(agent sandbox)는 AI 에이전트가 코드와 명령을 실행하는 격리된 환경입니다. 컨테이너, 가상 머신, 운영체제 제한 등이 있으며, 정해진 한계 밖의 파일, 네트워크, 데이터에 닿지 못하게 합니다.
- 에이전트 스킬
- 에이전트 스킬(agent skills)은 지시, 스크립트, 참고 파일을 담은 폴더로, 각각 SKILL.md 파일로 설명됩니다. AI 에이전트는 작업에 필요할 때만 이를 찾아 불러옵니다.
- 에이전트 오케스트레이션
- 에이전트 오케스트레이션(agent orchestration)은 애플리케이션에서 어떤 에이전트나 모델 호출을 어떤 순서로 실행할지, 다음 단계를 어떻게 고를지를 제어하는 일입니다. 그 결정은 모델이 내릴 수도 있고 고정된 코드가 내릴 수도 있습니다.
- 에이전트 지침 파일(AGENTS.md)
- 에이전트 지침 파일(agent instructions file)은 AGENTS.md나 CLAUDE.md처럼 코드 저장소 안에 두는 Markdown 파일로, 코딩 에이전트가 세션을 시작할 때 읽어 프로젝트의 명령, 관례, 규칙을 익힙니다.
- 에이전트 프레임워크
- 에이전트 프레임워크(agent framework)는 도구 루프, 상태, 메모리, 에이전트 간 핸드오프, 트레이싱처럼 AI 에이전트에 공통으로 필요한 부분을 제공하는 소프트웨어 라이브러리입니다. 개발자가 이를 처음부터 만들 필요가 없습니다.
- 에이전트 하네스
- 에이전트 하네스(agent harness)는 모델을 실제로 동작하는 에이전트로 만드는 주변 소프트웨어입니다. 루프, 도구, 시스템 프롬프트, 권한, 컨텍스트 관리, 그리고 세션 사이에 진행 상황을 이어 주는 파일이 여기에 포함됩니다.
- 에이전트 훅
- 에이전트 훅(agent hooks)은 코딩 에이전트가 도구 호출 전이나 파일 수정 후처럼 작업 중 정해진 시점에 자동으로 실행하는, 사용자가 정의 한 명령이나 스크립트입니다. 에이전트의 동작을 점검하거나, 막거나, 확장하는 데 씁니다.
- 에이전틱 AI
- 에이전틱 AI(agentic AI)는 언어 모델이 작업 수행 방식을 어느 정도 통제하는 소프트웨어를 말합니다. 모델이 단계를 계획하고, 도구를 고르고, 결과에 따라 행동하며, 한 번의 프롬프트와 응답보다 더 큰 자율성을 가집니다.
- 에이전틱 RAG
- 에이전틱 RAG(agentic RAG)는 AI 에이전트가 실행하는 검색 증강 생성입니다. 에이전트가 언제 검색할지, 무엇을 검색할지, 어떤 출처를 쓸지 정하고, 처음 결과가 부족하면 다시 검색할 수 있습니다.
- 자기회귀 모델
- 자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.
B
- BM25
- BM25는 키워드 검색을 위한 순위 공식입니다. 질의의 단어가 문서에 얼마나 자주 나오는지로 각 문서에 점수를 매기며, 드문 단어에 더 큰 가중치를 주고 긴 문서와 반복된 단어에는 점수를 덜 줍니다.
- BrowseComp
- BrowseComp는 OpenAI가 만든 1,266개의 어려운 질문으로 이루어진 벤치마크로, 브라우징 에이전트가 얽혀 있고 찾기 어려운 사실을 웹에서 끈질기게 찾아낼 수 있는지 시험합니다. 답은 짧아서 확인하기 쉽습니다.
- 배치 API
- 배치 API(batch API)는 대량의 모델 요청을 하나의 작업으로 제출하고 결과를 나중에 받는 방식으로, 호출마다 기다릴 필요가 없습니다. 제공업체는 여유 용량이 있을 때 작업을 실행하며, 보통 요금을 더 적게 받습니다.
- 베이스 모델
- 베이스 모델(base model)은 지시 튜닝이나 인간 피드백 학습을 거치기 전, 사전 학습을 막 마친 언어 모델입니다. 지시를 따르거나 대화를 이어 가기보다 주어진 텍스트를 계속 이어 씁니다.
- 벤치마크 오염
- 벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
- 브라우저 에이전트
- 브라우저 에이전트(browser agent)는 웹 브라우저를 제어해 검색, 클릭, 양식 작성, 페이지 읽기 같은 작업을 처리하는 AI 에이전트로, 보이는 창 없이 헤드리스 브라우저로 실행되는 경우가 많습니다.
C
- C2PA 콘텐츠 자격 증명
- C2PA 콘텐츠 자격 증명(C2PA content credentials)은 Coalition for Content Provenance and Authenticity의 개방형 표준이 정의하는 서명된 출처 기록으로, 이미지, 영상, 오디오 파일, 문서와 함께 이동하며 그 출처와 편집 내역을 기록합니다.
- ControlNet
- ControlNet은 텍스트 이미지 확산 모델이 텍스트 프롬프트에 더해 엣지 맵, 깊이 맵, 사람의 자세 같은 구조 가이드를 따르게 하는 신경망 애드온입니다.
- CPU 오프로딩
- CPU 오프로딩(CPU offloading)은 GPU 메모리에 다 들어가지 않는 모델의 일부 층을 시스템 RAM이나 디스크에 두고 나머지에 GPU를 써서 모델을 실행하는 방법입니다. 모델은 돌아가지만 더 느립니다.
- 사고의 사슬(Chain-of-thought)
- 사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.
- 연속 배칭
- 연속 배칭(continuous batching)은 배치 전체가 끝나기를 기다리지 않고, 생성 단계마다 실행 중인 GPU 배치에 새 요청을 넣고 끝난 요청을 빼는 모델 서빙 기법입니다. GPU를 쉬지 않게 하고 처리량을 높입니다.
- 청킹
- 청킹(chunking)은 긴 문서를 임베딩하고 색인하기 전에 더 작은 구절로 나누는 단계로, 검색 시스템이 문서 가운데 질의에 답하는 부분만 찾아 돌려줄 수 있게 합니다.
- 컨텍스트 부패
- 컨텍스트 부패(context rot)는 입력이 길어질수록 언어 모델의 정확성과 신뢰성이 떨어지는 현상입니다. 입력이 여전히 컨텍스트 윈도 안에 들어가고 필요한 정보가 그 안에 있어도 일어납니다.
- 컨텍스트 압축
- 컨텍스트 압축(context compaction)은 에이전트가 컨텍스트 윈도 한도에 가까워진 대화를 요약하고, 그 요약에서 시작하는 새 윈도에서 이어 가는 단계입니다. 그래서 긴 작업을 계속할 수 있습니다.
- 컨텍스트 엔지니어링
- 컨텍스트 엔지니어링(context engineering)은 작업 동안 언어 모델의 컨텍스트 윈도에 들어가는 모든 것을 고르고 관리하는 일입니다. 지시, 검색한 문서, 도구 정의, 도구 결과, 대화 기록이 여기에 포함됩니다.
- 컨텍스트 윈도
- 컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
- 컴퓨터 사용
- 컴퓨터 사용(computer use)은 AI 모델이 스크린숏을 보고 마우스 클릭과 키 입력을 보내 사람처럼 컴퓨터를 조작하는 능력으로, API가 없는 소프트웨어도 다룰 수 있게 합니다.
- 코딩 에이전트
- 코딩 에이전트(coding agent)는 소프트웨어를 직접 다루는 AI 에이전트입니다. 사람이 붙여 넣을 코드를 제안하는 데 그치지 않고, 코드베이스를 읽고, 파일을 수정하고, 명령과 테스트를 실행하며, 변경이 동작할 때까지 반복합니다.
- 코사인 유사도
- 코사인 유사도(cosine similarity)는 두 벡터 사이의 각도로 둘이 얼마나 비슷한지 재는 값입니다. -1부터 1까지의 범위를 가지며, 벡터의 길이는 무시하고, 검색에서 임베딩을 비교하는 가장 흔한 방법입니다.
- 크로스 인코더
- 크로스 인코더(cross-encoder)는 질의와 문서를 한 번에 함께 읽고 관련성 점수를 내는 모델입니다. 따로 만든 임베딩을 비교하는 것보다 정확하지만, 컬렉션 전체에 실행하기에는 너무 느립니다.
D
- 결정 모델
- 결정 모델(decision model)은 자유로운 텍스트를 생성하는 대신, 목록에서의 선택, 기준표에 따른 점수, 예/아니요 확률처럼 타입이 정해진 답을 돌려주도록 만든 모델입니다.
- 데이터 레지던시
- 데이터 레지던시(data residency)는 고객의 데이터를 EU처럼 선택한 지리적 지역에 저장하고, 흔히 처리도 그 지역에서 하게 하는 통제 수단입니다. 데이터가 어디에 있어야 하는지에 관한 팀 자체의 법적, 계약상, 고객 요구를 충족하게 합니다.
- 데이터 유출(AI 에이전트)
- AI 에이전트에서 데이터 유출(data exfiltration)은 공격자가 에이전트를 속여 접근 가능한 비공개 데이터를 읽게 하고, 웹 요청, 이메일, 이미지 링크 등 공격자가 통제하는 경로로 내보내게 하는 것을 말합니다.
- 딥 리서치(AI)
- 딥 리서치(deep research)는 AI 에이전트 기능으로, 연구 질문을 계획하고, 웹 검색을 여러 번 실행하고, 찾은 출처를 읽은 뒤, 인용이 달린 긴 보고서를 씁니다. 몇 초가 아니라 몇 분이 걸립니다.
- 딥페이크
- 딥페이크(deepfake)는 AI로 만들거나 변조한 이미지, 오디오, 영상 콘텐츠로, 실제 인물, 장소, 사건을 일어나지 않은 방식으로 그럴듯하게 보여 주어 진짜로 통할 수 있는 것을 말합니다.
- 문서 파싱
- 문서 파싱(document parsing)은 PDF, 스캔본, 슬라이드, 스프레드시트 같은 파일을 소프트웨어가 쓸 수 있는 구조화된 텍스트로 바꾸는 작업입니다. 평평한 문자열이 아니라 제목, 읽는 순서, 표, 이미지를 유지합니다.
- 직접 선호 최적화(DPO)
- 직접 선호 최적화(DPO, direct preference optimization)는 보상 모델과 강화 학습 대신 단순한 분류 방식의 손실 함수를 써서, 선호된 답과 거부된 답의 쌍으로 직접 학습해 언어 모델을 사람의 선호에 맞추는 방법입니다.
- 확산 모델
- 확산 모델(diffusion model)은 여러 단계에 걸쳐 노이즈를 조금씩 제거하면서 무작위 노이즈를 이미지 같은 데이터로 바꾸는 법을 배우는 생성 모델입니다.
- 확산 언어 모델
- 확산 언어 모델(dLLM, diffusion language model)은 한 번에 토큰 하나씩 쓰는 대신, 완전히 마스킹되거나 노이즈가 섞인 시퀀스에서 시작해 여러 단계에 걸쳐 많은 토큰 위치를 병렬로 다듬어 텍스트를 생성합니다.
E
- Elo 레이팅(모델 아레나)
- 모델 아레나에서 Elo 레이팅(Elo rating)은 모델 쌍 사이의 수많은 일대일 투표로 계산한 점수로, 두 점수의 차이가 한 모델의 답이 다른 모델의 답보다 얼마나 자주 선호될지를 예측합니다.
- EU AI Act
- EU AI Act(Regulation (EU) 2024/1689)는 인공지능에 관한 유럽연합의 법입니다. AI 시스템을 만들고 배포하는 이들에게 전면 금지부터 투명성 의무까지 위험 기반 규칙을 정하며, 2025년부터 단계적으로 시행됩니다.
- 임베딩
- 임베딩(embedding)은 텍스트, 이미지, 기타 데이터를 나타내는 숫자 목록(벡터)으로, 의미가 비슷한 항목끼리 가까운 벡터를 갖도록 만들어집니다.
- 임베딩 차원
- 임베딩 차원(embedding dimension)은 임베딩 모델이 출력하는 각 벡터의 값 개수입니다. 차원이 많을수록 더 많은 세부 정보를 담을 수 있지만, 값이 하나 늘 때마다 항목당 저장, 메모리, 검색 비용이 늡니다.
F
- 파운데이션 모델
- 파운데이션 모델(foundation model)은 폭넓은 데이터로 대규모 학습한 큰 모 델로, 한 가지 작업을 위해 만들어지는 대신 프롬프팅이나 미세 조정을 통해 여러 하위 작업에 맞춰 조정할 수 있습니다.
- 파인튜닝(미세 조정)
- 파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
- 퓨샷 프롬프팅
- 퓨샷 프롬프팅(few-shot prompting)은 프롬프트 안에 작업의 풀이 예시 몇 개를 넣어, 언어 모델이 재학습 없이 새로운 입력에 그 패턴을 따라 하게 하는 방법입니다.
- 프런티어 모델
- 프런티어 모델(frontier model)은 특정 시점에 이용할 수 있는 가장 유능한 범용 AI 모델 가운데 하나로, 보통 자금이 풍부한 연구소에서 나옵니다. 상대적인 용어이며 AI 안전 정책에도 등장합니다.
G
- GGUF
- GGUF는 모델의 가중치, 토크나이저, 메타데이터를 파일 하나에 저장하는 바이너리 파일 형식으로, llama.cpp 같은 GGML 기반 도구에서 빠르게 불러와 로컬 추론을 하도록 만들어졌으며 흔히 양자화된 형태로 쓰입니다.
- GPQA
- GPQA(Graduate-Level Google-Proof Q&A)는 생물학, 물리학, 화학 분야의 어려운 객관식 문제 448개로 이루어진 벤치마크입니다. 전문가들이 작성해, 숙련된 비전문가는 웹을 무제한으로 검색해도 답하지 못하도록 만들었습니다.
- GPU
- GPU(graphics processing unit)는 많은 계산을 병렬로 실행하도록 만든, 작은 코어가 많은 프로세서입니다. 행렬 연산 속도 덕분에 AI 모델을 학습하고 실행하는 표준 하드웨어가 되었습니다.
- GPU 클라우드
- GPU 클라우드(GPU cloud)는 AI 학습, 미세 조정, 추론을 위해 GPU 머신을 시간 단위나 초 단위로 빌려주는 서비스입니다. 네오클라우드(neocloud)라고도 불리는 전문 업체는 GPU에 집중하며, 대형 범용 클라우드보다 저렴한 경우가 많습니다.
- GraphRAG
- GraphRAG는 LLM이 먼저 문서 컬렉션에서 지식 그래프를 만들고 관련된 개체 묶음의 요약을 쓴 뒤, 그 요약과 그래프 연결을 이용해 질문에 답하는 검색 방식입니다.
- 가드레일(AI)
- 가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.
- 가이던스 스케일(CFG)
- 가이던스 스케일(guidance scale), 또는 CFG 스케일은 확산 이미지 생성기에서 출력이 프롬프트를 얼마나 강하게 따를지 조절하는 설정입니다. 값이 높을수록 프롬프트를 더 충실히 따르지만 다양성이 줄어듭니다.
- 골든 데이터셋
- 골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준 으로 씁니다.
- 그라운딩
- 그라운딩(grounding)은 언어 모델의 답을 검색 결과, 문서, 데이터베이스 같은 구체적이고 확인 가능한 출처에 묶어, 그 주장이 학습 데이터만이 아니라 제공된 근거에 기반하게 하는 것입니다.
- 생성형 엔진 최적화
- 생성형 엔진 최적화(GEO, generative engine optimization)는 AI 검색 엔진과 채팅 어시스턴트가 웹 콘텐츠를 찾고, 인용하고, 생성한 답변에 출처로 밝히도록 콘텐츠를 다듬는 일입니다.
H
- HNSW
- HNSW(hierarchical navigable small world)는 근사 최근접 이웃 검색을 위한 그래프 기반 인덱스입니다. 벡터를 여러 층에 걸쳐 이웃과 연결해, 검색이 가장 가까운 결과 쪽으로 빠르게 건너뛸 수 있게 합니다.
- HumanEval
- HumanEval은 OpenAI가 2021년에 공개한 코드 생성 벤치마크입니다. 함수 시그니처, docstring, 단위 테스트를 갖춘 손으로 쓴 Python 문제 164개로, 모델이 실제로 동작하는 코드를 쓰는지 확인합니다.
- Humanity's Last Exam
- Humanity's Last Exam(HLE)은 수십 개 과목에 걸쳐 전문가가 쓴 2,500개의 질문으로 이루어진 벤치마크로, AI 모델에게 매우 어렵도록 만들었습니다. 답은 명확하고 확인 가능하지만 온라인에서 빠르게 찾을 수는 없습니다.
- 인간 평가
- 인간 평가(human evaluation)는 자동화된 지표 대신 사람이 AI 출력을 판단하는 것입니다. 예를 들어 평가자가 기준표에 따라 답에 점수를 매기거나, 블라인드 테스트에서 익명의 두 응답 중 더 나은 것을 고릅니다.
- 하이브리드 검색
- 하이브리드 검색(hybrid search)은 같은 질의로 키워드 검색과 벡터 검색을 함께 실행하고 두 순위 목록을 합쳐, 결과가 정확한 단어와 의미 모두로 일치할 수 있게 합니다.
- 환각(AI)
- 환각(hallucination)은 AI 모델의 출력이 유창하고 자신감 있게 들리지만 거짓이거나, 출처의 뒷받침이 없거나, 지어낸 것인 경우를 말합니다. 꾸며 낸 인용, 발언, 통계, API 함수 등이 그 예입니다.
- 휴먼 인 더 루프
- 휴먼 인 더 루프(HITL, human-in-the-loop)는 AI 시스템이 정해진 지점에서 멈추고 사람이 다음 단계를 승인, 수정, 거부하게 하는 설계로, 위험하거나 불확실한 동작이 자동으로 실행되지 않게 합니다.
I
- 이미지 투 비디오
- 이미지 투 비디오(image-to-video)는 정지 이미지를 짧은 영상 클립으로 바꾸는 작업으로, 보통 이미지를 첫 프레임으로 쓰고 텍스트 프롬프트로 움직임을 설명합니다.
- 이미지 투 이미지
- 이미지 투 이미지(image-to-image)는 기존 이미지와 프롬프트로 새 이미지를 생성하는 작업으로, 원본 구조의 일부를 유지하면서 스타일, 디테일, 내용을 바꿉니다.
- 인스트럭트 모델
- 인스트럭트 모델(instruct model)은 베이스 언어 모델을 지시와 좋은 답의 쌍으로, 흔히 인간 피드백으로도 추가 학습시켜, 텍스트를 이어 쓰는 대신 요청을 따르게 만든 모델입니다.
- 인페인팅과 아웃페인팅
- 인페인팅(inpainting)은 이미지에서 마스크를 씌운 영역을 그림의 나머지와 어울리는 새로 생성한 내용으로 채우는 것입니다. 아웃페인팅(outpainting)은 같은 개념을 가장자리 바깥에 적용해 이미지를 프레임 너머로 넓히는 것입니다.
- 추론 제공업체
- 추론 제공업체(inference provider)는 자체 하드웨어에서 AI 모델을 실행하고, 보통 토큰 단위로 과금하는 API로 이용권을 파는 회사입니다. GPU를 직접 관리하지 않고 프롬프트를 보내 출력을 받습니다.
- 추론(인퍼런스)
- 추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입 니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.
J
- 탈옥(LLM)
- 탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.
K
- KV 캐시
- KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
- 지식 그래프
- 지식 그래프(knowledge graph)는 정보를 이름 붙은 관계로 연결된 개체(사람, 제품, 장소, 개념)로 저장해, 소프트웨어가 느슨한 텍스트를 뒤지는 대신 사실 사이의 연결을 따라갈 수 있게 합니다.
- 지식 베이스(AI)
- AI 앱에서 지식 베이스(knowledge base)는 어시스턴트나 에이전트가 질문에 답하려고 검색하는 문서와 데이터의 모음으로, 도움말 문서, 정책, 제품 문서 등이 있으며 모델 자체와는 따로 관리됩니다.
- 지식 증류
- 지식 증류(knowledge distillation)는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 흉내 내도록 학습시키는 방법으로, 교사의 능력을 상당 부분 유지하면서 비용은 낮은 증류 모델을 만듭니다.
- 지식 컷오프
- 지식 컷오프(knowledge cutoff)는 그 이후로 모델이 정보를 거의 또는 전혀 갖지 않는 날짜입니다. 학습 데이터가 대략 그 무렵까지 수집되었기 때문입니다. 그 이후의 사건은 프롬프트에 주지 않는 한 모델이 알지 못합니다.
L
- LLM 게이트웨이
- LLM 게이트웨이(LLM gateway)는 애플리케이션과 모델 제공업체 사이에 놓이는 프록시 서버로, 하나의 API를 노출하고 키, 라우팅, 폴백, 레이트 리밋, 로그 기록, 지출 추적을 한곳에서 처리합니다.
- LLM 관측성(LLM observability)
- LLM 관측성(LLM observability)은 AI 애플리케이션이 프로덕션에서 하는 일, 즉 프롬프트, 응답, 도구 호출, 지연 시간, 토큰 사용량, 비용을 검색 가능한 트레이스로 기록하는 것입니다. 이를 통해 실패를 디버깅하고 시스템이 시간에 따라 어떻게 동작하는지 볼 수 있습니다.
- LLM 라우팅(LLM routing)
- LLM 라우팅(LLM routing)은 각 요청을 가장 알맞은 언어 모델로 보내는 방식입니다. 보통 쉬운 프롬프트는 저렴한 모델로, 어려운 프롬프트는 더 강한 모델로 보내 비용, 속도, 품질의 균형을 맞춥니다.
- LLM 평가
- LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
- LLM-as-a-judge
- LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
- llms.txt
- llms.txt는 웹사이트가 보통 /llms.txt 경로에 Markdown 파일을 게시해, 사이트를 요약하고 가장 유용한 페이지로 가는 링크를 언어 모델이 읽기 쉬운 형태로 제공하자는 제안된 관례입니다.
- LMArena
- LMArena는 처음에 Chatbot Arena로 알려졌던 공개 플랫폼으로, 크라우드소싱한 사람들의 투표로 AI 모델 순위를 매깁니다. 사용자는 익명의 두 모델이 같은 프롬프트에 답하는 것을 보고 더 나은 응답을 고릅니다.
- LoRA
- LoRA(low-rank adaptation, 저랭크 적응)는 모델의 원래 가중치를 고정하고 레이어에 추가한 작은 저랭크 행렬만 학습하는 파인튜닝 방법입니다. 바뀌는 파라미터가 훨씬 적어 GPU 메모리가 훨씬 덜 필요합니다.
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- 레이아웃 분석
- 레이아웃 분석(layout analysis)은 문서 파싱의 한 부분으로, 페이지에서 제목, 문단, 표, 그림, 캡션, 바닥글 같은 영역을 찾아 각각에 레이블을 붙이고, 사람이 읽는 순서를 알아냅니다.
- 로컬 LLM(Local LLM)
- 로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.
- 리더보드(AI)
- AI 리더보드(leaderboard)는 하나 이상의 벤치마크 점수나 사람의 선호 투표로 모델의 순위를 매긴 공개 표로, 새 모델이 시험될 때마다 갱신되어 독자가 모델을 나란히 비교할 수 있게 합니다.
- 립싱크(AI 영상)
- AI 립싱크(lip sync)는 모델을 써서 영상이나 이미지 속 인물의 입 움직임을 번역하거나 고쳐 쓴 대사 같은 새 오디오 트랙에 맞게 바꾸는 것입니다.
- 지연 상호작용(ColBERT)
- 지연 상호작용(late interaction)은 ColBERT가 소개한 검색 방법으로, 질의와 각 문서를 따로 토큰마다 벡터 하나씩으로 인코딩한 뒤, 저렴한 마지막 단계에서 그 토큰 벡터들을 비교해 일치 점수를 매깁니다.
M
- Matryoshka 임베딩
- Matryoshka 임베딩(Matryoshka embeddings)은 앞쪽 값에 가장 많은 정보가 담기도록 학습된 벡터입니다. 더 짧은 길이로 잘라도 쓸 만한 검색 결과를 얻을 수 있어 저장 공간을 아끼고 검색 속도를 높입니다.
- MCP 리소스와 프롬프트
- MCP 리소스와 프롬프트(MCP resources and prompts)는 MCP 서버가 도구 외에 제공할 수 있는 두 가지입니다. 리소스는 각각 URI를 가진 데이터로 앱이 컨텍스트에 추가할 수 있고, 프롬프트는 사용자가 골라 실행하는 재사용 가능한 메시지 템플릿입니다.
- MCP 서버(MCP server)
- MCP 서버(MCP server)는 Model Context Protocol을 통해 도구, 데이터 리소스, 프롬프트 템플릿을 AI 애플리케이션에 제공하는 프로그램입니다. MCP 호환 클라이언트라면 별도 통합 코드 없이 이를 쓸 수 있습니다.
- MCP 전송 방식(stdio, Streamable HTTP)
- MCP 전송 방식(MCP transport)은 클라이언트와 서버 사이에서 MCP의 JSON-RPC 메시지를 실어 나르는 채널입니다. 명세는 두 가지를 정의합니다. 로컬 하위 프로세스로 실행하는 서버를 위한 stdio, 그리고 네트워크로 접속하는 서버를 위한 Streamable HTTP입니다.
- MCP 클라이언트(MCP client)
- MCP 클라이언트(MCP client)는 AI 애플리케이션에서 MCP 서버 하나와의 연결 하나를 맡는 부분입니다. 기능을 협상하고, 그 서버와 호스트 앱 사이에서 요청, 결과, 알림을 전달합니다.
- MMLU
- MMLU(Massive Multitask Language Understanding)는 초등 수학과 미국 역사부터 법학과 컴퓨터 과학까지 57개 과목을 다루는 객관식 벤치마크로, 언어 모델의 폭넓은 지식과 문제 해결 능력을 시험합니다.
- Model Context Protocol
- Model Context Protocol(MCP)은 AI 애플리케이션이 외부 도구, 데이터, 프롬프트에 연결하는 방법을 정의하는 개방형 표준으로, 호스트 애플리케이션, 그 클라이언트, 별도의 서버 사이에서 JSON-RPC 메시지를 사용합니다.
- MTEB
- MTEB(Massive Text Embedding Benchmark)는 텍스트 임베딩 모델을 검색, 클러스터링, 분류, 리랭킹 등 여러 작업 유형에 걸쳐 많은 데이터셋과 언어로 채점하는 공개 벤치마크이자 리더보드입니다.
- 멀티 에이전트 시스템(Multi-agent system)
- 멀티 에이전트 시스템(multi-agent system)은 각자 지시, 도구, 컨텍스트를 가진 여러 AI 에이전트가 작업의 일부를 맡아 처리하고, 결과를 서로 또는 조율 에이전트에 넘기는 구성입니다.
- 멀티모달 모델(Multimodal model)
- 멀티모달 모델(multimodal model)은 텍스트, 이미지, 오디오, 동영상 같은 여러 종류의 데이터를 별도 시스템이 아니라 하나의 모델 안에서 받아들이고, 경우에 따라 생성하기도 하는 AI 모델입니다.
- 메타데이터 필터링(Metadata filtering)
- 메타데이터 필터링(metadata filtering)은 날짜, 작성자, 언어, 접근 그룹 같은 저장된 속성이 주어진 조건에 맞는 항목으로 검색을 제한하는 것으로, 벡터 유사도 순위 매기기와 함께 또는 그 전에 적용합니다.
- 모델 가중치(Model weights)
- 모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
- 모델 라이선스(Model license)
- 모델 라이선스(model license)는 모델의 가중치, 그리고 경우에 따라 코드 와 데이터를 사용, 변경, 공유할 수 있는 법적 조건입니다. 허용적인 오픈 라이선스부터 비상업용 또는 자체 제한 라이선스까지 다양합니다.
- 모델 서빙(Model serving)
- 모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
- 모델 카드(Model card)
- 모델 카드(model card)는 머신러닝 모델과 함께 공개되는 짧은 문서로, 모델의 용도, 학습 및 평가 방식, 성능이 떨어지는 영역, 그리고 써야 할 방식과 쓰지 말아야 할 방식을 설명합니다.
- 모델 파라미터(Model parameters)
- 모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.
- 모델 폴백
- 모델 폴백(model fallback)은 첫 번째 선택이 실패하거나, 시간 초과되거나, 레이트 리밋에 걸리거나, 입력을 거부할 때 요청을 예비 모델이나 제공업체로 보내는 규칙입니다. 장애가 나도 AI 기능이 계속 동작하게 합니다.
- 전문가 혼합(Mixture of experts)
- 전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.
N
- NPU
- NPU(neural processing unit, 신경망 처리 장치)는 신경망 연산을 빠르고 적은 전력으로 실행하도록 만든 칩, 또는 더 큰 칩 안의 블록입니다. 휴대폰과 노트북은 NPU로 작은 AI 모델을 기기에서 실행합니다.
- 노코드 AI 앱 빌더(No-code AI app builder)
- 노코드 AI 앱 빌더(no-code AI app builder)는 평이한 말로 쓴 설명이나 시각적 편집기를 작동하는 앱으로 바꿔 주는 도구로, 보통 호스팅과 데이터베이스 가 포함되어 있어 코드를 쓰지 않고도 소프트웨어를 내놓을 수 있습니다.
- 수치 정밀도(FP16, BF16, FP8)
- 수치 정밀도(numeric precision)는 모델의 가중치를 저장하고 연산을 수행하는 데 쓰는 숫자 형식으로, FP32, FP16, BF16, FP8, INT4 등이 있습니다. 숫자당 비트가 적을수록 메모리가 줄고 추론이 빨라지지만, 정확도가 떨어질 위험이 있습니다.
O
- AI 에이전트용 OAuth
- AI 에이전트용 OAuth(OAuth for AI agents)는 OAuth 인가 표준을 사용해, 에이전트나 MCP 클라이언트가 사용자의 비밀번호나 광범위한 API 키를 갖는 대신 범위가 제한되고 철회할 수 있는 액세스 토큰으로 사용자를 대신해 행동하게 하는 것입니다.
- ONNX
- ONNX(Open Neural Network Exchange)는 머신러닝 모델을 위한 개방형 파일 형식입니다. 모델을 표준 연산자의 그래프로 기술하므로, 한 프레임워크에서 학습하고 다른 곳에서 실행할 수 있습니다.
- OpenAI 호환 API(OpenAI-compatible API)
- OpenAI 호환 API(OpenAI-compatible API)는 다른 제공업체나 도구의 엔드포인트로, OpenAI API와 같은 요청 및 응답 형식을 받아들입니다. 그래서 OpenAI용으로 쓴 코드를 base URL, 키, 모델 이름만 바꿔 전환할 수 있습니다.
- OSWorld
- OSWorld는 컴퓨터 사용 에이전트를 위한 벤치마크로, Ubuntu, Windows, macOS 같은 실제 운영체제를 실행하고 웹 및 데스크톱 앱에 걸친 369개의 열린 과제로 에이전트를 채점하며, 결과는 스크립트로 확인합니다.
- 광학 문자 인식(OCR)
- 광학 문자 인식(optical character recognition, OCR)은 스캔한 페이지, 사진, 스크린샷 같은 이미지에서 텍스트를 읽어, 검색하거나 복사하거나 모델에 넣을 수 있는 기계 판독 문자로 바꾸는 소프트웨어입니다.
- 오픈 웨이트 모델(Open-weight model)
- 오픈 웨이트 모델(open-weight model)은 학습된 가중치가 공개되어 누구나 내려받아 실행할 수 있는 모델입니다. 학습 코드나 전체 학습 데이터가 빠진 경우가 많아 반드시 오픈소스인 것은 아닙니다.
- 오픈소스 AI(Open source AI)
- 오픈소스 AI(open source AI)는 누구나 사용, 연구, 수정, 공유할 수 있는 조건으로 공개되고, 이를 바꾸는 데 필요한 요소, 즉 학습 데이터 정보, 전체 코드, 모델 파라미터에 접근할 수 있는 AI 시스템입니다.
- 출력 토큰(Output tokens)
- 출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.
P
- PagedAttention
- PagedAttention은 운영체제의 페이지처럼, 언어 모델의 KV cache를 GPU 메모리에서 서로 붙어 있을 필요가 없는 작은 고정 크기 블록에 저장하는 방법입니다. 낭비되는 메모리를 줄여 서버가 한 번에 더 많은 요청을 처리할 수 있게 합니다.
- pass@k
- pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.
- PII 마스킹(PII redaction)
- PII 마스킹(PII redaction)은 이름, 전화번호, 주소, 카드 번호 같은 개인 식별 정보를 텍스트나 이미지에서 찾아내, 모델에 보내거나 로그에 저장하거나 다른 사람에게 보여 주기 전에 지우거나 가리는 것입니다.
- 사전 학습(Pretraining)
- 사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.
- 파라미터 효율적 파인튜닝(PEFT)
- 파라미터 효율적 파인튜닝(parameter-efficient fine-tuning, PEFT)은 사전 학습된 모델에서 새로 추가하거나 선택한 소수의 파라미터만 학습하고 나머지는 고정해 모델을 적응시키는 방법입니다. 전체 파인튜닝에 필요한 메모리, 연산, 저장 공간을 줄입니다.
- 프롬프트 엔지니어링(Prompt engineering)
- 프롬프트 엔지니어링(prompt engineering)은 모델의 가중치를 바꾸지 않고, 애플리케이션에 필요한 출력을 내도록 언어 모델에 주는 지시와 예시를 작성하고, 구성하고, 테스트하는 일입니다.
- 프롬프트 인젝션(Prompt injection)
- 프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.
- 프롬프트 캐싱(Prompt caching)
- 프롬프트 캐싱(prompt caching)은 긴 시스템 프롬프트나 문서처럼 반복되는 프롬프트 접두부의 처리된 형태를 저장해, 같은 접두부로 시작하는 이후 요청을 더 싸고 빠르게 만드는 API 기능입니다.
Q
- 양자화(Quantization)
- 양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
- 쿼리 재작성(Query rewriting)
- 쿼리 재작성(query rewriting)은 검색 전에 사용자의 질문을 명확히 하거나, 나누거나, 관련 용어를 더하는 식으로 바꿔, 검색기가 답을 담은 구절을 찾을 가능성을 높이는 것입니다.
R
- ReAct(추론과 행동)
- ReAct(reasoning and acting, 추론과 행동)는 언어 모델이 추론 단계를 쓰고, 검색이나 도구 호출 같은 행동을 하고, 그 결과를 읽은 뒤 다음 단계로 넘어가는 과정을 번갈아 반복하는 프롬프팅 패턴입니다.
- RLHF
- RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
- 검색 증강 생성(Retrieval-augmented generation)
- 검색 증강 생성(retrieval-augmented generation, RAG)은 시스템이 먼저 문서 모음에서 질문과 관련된 구절을 검색한 뒤, 그 구절을 언어 모델에 주어 답변이 이를 바탕으로 하게 하는 패턴입니다.
- 검색 지표(recall@k, nDCG, MRR)
- 검색 지표(retrieval metrics)는 검색 시스템이 관련 문서를 얼마나 잘 반환하는지 점수로 나타냅니다. Recall@k는 상위 k개에 관련 항목이 얼마나 들어 있는지, nDCG는 관련 항목을 높은 순위에 올렸는지, MRR은 첫 번째 정답이 얼마나 일찍 나오는지를 봅니다.
- 리랭킹(Reranking)
- 리랭킹(reranking)은 후보 문서의 짧은 목록을 받아, 첫 검색보다 더 정확하지만 느린 모델로 쿼리와의 관련도에 따라 다시 정렬하는 두 번째 검색 단계입니다.
- 보상 모델(Reward model)
- 보상 모델(reward model)은 인간 선호 데이터로 학습해 응답이 얼마나 좋은지 점수를 매기는 별도의 모델입니다. 그다음 강화 학습이 이 점수를 써서 언어 모델을 사람들이 선호하는 답 쪽으로 조정합니다.
- 속도 제한(Rate limit, API)
- 속도 제한(rate limit)은 계정이 일정 시간 동안 API를 쓸 수 있는 양의 상한으로, 보통 분당 요청 수(RPM)와 분당 토큰 수(TPM)로 정합니다. 한도를 넘는 요청은 거부되며, 대개 HTTP 429 오류가 납니다.
- 추론 모델(Reasoning model)
- 추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
- 회귀 테스트(LLM 앱)
- LLM 앱의 회귀 테스트(regression testing)는 프롬프트, 모델, 검색 설정, 도구를 바꿀 때마다 고정된 평가 케이스를 다시 실행해, 예전에는 잘 되다가 이제 실패하는 케이스를 잡아내는 것입니다.
S
- Safetensors
- Safetensors는 Hugging Face가 만든 모델 가중치 저장용 파일 형식입니다. Python pickle 파일과 달리 불러올 때 숨겨진 코드가 실행될 수 없으며, 개별 텐서를 메모리 매핑으로 빠르게 불러올 수 있습니다.
- SOC 2
- SOC 2는 외부 CPA 감사 법인이 AICPA 기준에 따라 작성하는 감사 보고서로, 서비스 조직의 보안, 가용성, 처리 무결성, 기밀성, 개인정보 보호 관련 통제를 다룹니다.
- SWE-bench
- SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
- 구조화된 출력(Structured output)
- 구조화된 출력(structured output)은 언어 모델의 응답이 직접 정의한 형식, 보통 JSON schema를 따르게 하는 API 기능입니다. 그래서 코드가 자유 텍스트를 긁어내는 대신 응답을 안정적으로 파싱할 수 있습니다.
- 상태 공간 모델(State space model)
- 상태 공간 모델(state space model, SSM)은 토큰을 하나씩 읽으면서 고정 크기의 은닉 상태를 앞으로 전달하는 시퀀스 모델로, 비용이 입력 길이에 비례해 선형으로 늘어납니다. 가장 잘 알려진 예는 Mamba입니다.
- 서버리스 GPU(Serverless GPU)
- 서버리스 GPU(serverless GPU)는 코드나 모델을 배포하면 플랫폼이 요청이 들어올 때만 GPU 워커를 시작하고, 실행된 시간만큼 청구하며, 유휴 시에는 0으로 축소하는 클라우드 모델입니다.
- 서브에이전트(Subagent)
- 서브에이전트(subagent)는 주 에이전트가 작업을 넘겨주는 보조 에이전트입니다. 흔히 자체 지시와 도구를 가지고 새로운 별도의 컨텍스트 윈도우에서 일하며, 결과의 요약만 돌려줍니다.
- 셀프 호스팅(AI 모델)
- AI 모델 셀프 호스팅(self-hosting)은 제공업체의 API를 호출하는 대신, 자체 서버, 임대한 GPU, 노트북처럼 직접 통제 하는 하드웨어에서 모델을 실행하는 것입니다. 모델을 고르고 데이터를 지킬 수 있지만, 인프라를 직접 운영해야 합니다.
- 소형 언어 모델(Small language model)
- 소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.
- 스트리밍(LLM 출력)
- 스트리밍(streaming)은 전체 응답을 기다리지 않고, 토큰이 생성되는 대로 LLM의 출력을 조금씩 클라이언트에 보내는 방식입니다. 완전한 답이 훨씬 오래 걸려도 사용자는 곧바로 텍스트가 나타나는 것을 봅니다.
- 스펙 주도 개발(Spec-driven development)
- 스펙 주도 개발(spec-driven development)은 코딩 에이전트와 일하는 방식의 하나로, 먼저 무엇을 왜 만들지 명세를 쓴 다음 에이전트가 이를 계획, 작업 목록, 그리고 마지막으로 코드로 바꾸게 합니다.
- 슬래시 명령(Slash command)
- 슬래시 명령(slash command)은 /compact나 /review처럼 앞에 슬래시를 붙여 입력하는 지시로, AI 도구가 텍스트를 일반 메시지로 다루지 않고 내장 동작이나 저장된 프롬프트를 실행하게 합니다.
- 시맨틱 캐시(Semantic cache)
- 시맨틱 캐시(semantic cache)는 과거 LLM 응답을 저장해 두었다가, 새 요청이 이전 요청과 대략 같은 뜻일 때 저장된 응답을 돌려줍니다. 일치 여부는 정확한 텍스트 일치가 아니라 임베딩 유사도로 판단합니다. 반복되는 질문에서 비용과 지연 시간을 아낍니다.
- 시스템 프롬프트(System prompt)
- 시스템 프롬프트(system prompt)는 애플리케이션이 사용자 메시지보다 먼저 언어 모델에 보내는 지시 블록입니다. 대화 전체에 걸쳐 모델의 역할, 규칙, 어조, 출력 형식을 정합니다.
- 음성 대 음성 모델(Speech-to-speech model)
- 음성 대 음성 모델(speech-to-speech model)은 음성을 먼저 텍스트로 바꿨다가 되돌리지 않고, 말소리 오디오를 받아 말소리 오디오를 직접 내놓는 모델입니다. 실시간 음성 대화와 통역에 쓰입니다.
- 음성 인식(Speech-to-text)
- 음성 인식(speech-to-text)은 자동 음성 인식(ASR)이라고도 하며, 말소리 오디오를 글로 바꾸는 소프트웨어입니다. 전사, 자막, 음성 명령, 그리고 음성 에이전트의 듣는 쪽을 맡습니다.
- 지도 파인튜닝(Supervised fine-tuning)
- 지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
- 추측 디코딩(Speculative decoding)
- 추측 디코딩(speculative decoding)은 작고 빠른 초안 모델이 토큰 여러 개를 제안하고, 큰 모델이 한 번의 패스로 이를 확인해 받아들인 토큰을 유지하는 방식으로 텍스트 생성을 빠르게 합니다. 출력은 큰 모델 혼자 만들었을 결과와 같습니다.
- 합성 데이터(Synthetic data)
- 합성 데이터(synthetic data)는 실제 세계의 출처에서 수집하 지 않고 소프트웨어, 흔히 다른 AI 모델로 생성한 학습용 또는 테스트용 데이터입니다. 빈틈을 메우거나, 예시를 저렴하게 늘리거나, 실제 개인 데이터의 노출을 피하는 데 쓰입니다.
- 화자 분리(Speaker diarization)
- 화자 분리(speaker diarization)는 오디오 녹음을 화자별로 나눠, 말한 구간마다 누가 말했는지 레이블을 붙이는 작업입니다. "누가 언제 말했는가"라는 질문에 답합니다.
- 희소 검색(Sparse retrieval)
- 희소 검색(sparse retrieval)은 쿼리와 문서를 어휘 전체에 걸친 벡터로 표현하되, 대부분의 항목이 0이고 0이 아닌 항목은 각각 단어 가중치인 방식입니다. 그래서 키워드 검색처럼 빠른 역색인을 쓸 수 있습니다.
T
- Temperature(샘플링)
- temperature는 언어 모델의 단어 선택이 얼마나 무작위적인지 조절하는 샘플링 설정입니다. 값이 낮으면 가장 가능성 높은 토큰을 선호하고, 값이 높으면 가능성이 낮은 토큰까지 선택이 퍼집니다.
- Terminal-Bench
- Terminal-Bench는 명령줄 터미널에서 일하는 AI 에이전트를 위한 벤치마크로, 과제마다 에이전트에게 실제 환경을 주고, 일이 실제로 완료되었는지 확인하는 테스트로 채점합니다.
- Top-p 샘플링(Top-p sampling)
- Top-p 샘플링(top-p sampling), 또는 nucleus 샘플링은 합한 확률이 기준치 p에 이르는 가장 작은 후보 집합에서만 다음 토큰을 골라, 가능성 낮은 토큰의 긴 꼬리를 잘라 냅니다.
- TPU
- TPU(tensor processing unit, 텐서 처리 장치)는 Google이 머신러닝용으로 직접 만든 칩으로, 대형 행렬 곱셈 장치와 고대역폭 메모리를 중심으로 설계되었습니다. Google은 TPU를 Google Cloud의 임대 서비스로 다른 회사에 제공합니다.
- 도구 포이즈닝(Tool poisoning)
- 도구 포이즈닝(tool poisoning)은 악성 도구, 흔히 MCP 서버가 도구 설명이나 메타데이터에 지시를 숨기는 공격입니다. AI 모델은 이를 지침으로 읽고, 사용자가 알아채지 못하는 사이에 데이터를 유출하거나 다른 도구를 오용할 수 있습니다.
- 도구 호출
- 도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 스키마로 함수를 설명하면 모델이 그중 하나를 호출하겠다는 구조화된 요청으로 답하고, 코드가 이를 실행해 결과를 돌려주는 모델 API 기능입니다.
- 음성 합성(Text-to-speech)
- 음성 합성(text-to-speech, TTS)은 글로 쓴 텍스트를 말소리 오디오로 바꾸는 소프트웨어입니다. 현대 TTS는 텍스트로부터 말소리를 예측하는 신경망을 쓰고, 이를 파형으로 렌더링합니다.
- 첫 토큰까지의 시간(Time to first token)
- 첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.
- 초당 토큰 수(Tokens per second)
- 초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.
- 테스트 타임 컴퓨트(Test-time compute)
- 테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.
- 텍스트 투 3D(Text-to-3D)
- 텍스트 투 3D(text-to-3D)는 글로 쓴 프롬프트로부터 3D 객체나 장면을 생성하는 작업입니다. 이미지 투 3D는 한 장 이상의 사진으로 같은 일을 합니다. 결과물은 어느 각도에서든 볼 수 있습니다.
- 텍스트 투 뮤직(Text-to-music)
- 텍스트 투 뮤직(text-to-music)은 장르, 분위기, 악기, 템포 같은 글 설명으로부터 음악 오디오를 생성하는 작업입니다. 일부 시스템은 가사를 쓰고 노래까지 부릅니다.
- 텍스트 투 비디오(Text-to-video)
- 텍스트 투 비디오(text-to-video)는 글로 쓴 프롬프트로부터 짧은 동영상 클립을 생성하는 작업입니다. 모델은 프레임 하나하나가 그럴듯하면서도 프레임 사이의 움직임이 일관된 결과를 만들어야 합니다.
- 텍스트 투 이미지(Text-to-image)
- 텍스트 투 이미지(text-to-image)는 프롬프트라고 부르는 글 설명으로부터 새 그림을 생성하는 작업입니다. 현재 대부분의 텍스트 투 이미지 모델은 텍스트를 조건으로 하는 확산 모델입니다.
- 텐서 병렬화(Tensor parallelism)
- 텐서 병렬화(tensor parallelism)는 신경망의 각 레이어를 여러 GPU에 나눠, 모든 GPU가 각 가중치 행렬의 일부를 갖고 매 단계에서 자기 몫을 계산하게 하는 방식입니다. GPU 한 장에 들어가지 않는 모델을 여러 장에 걸쳐 실행할 수 있게 합니다.
- 토크나이저(Tokenizer)
- 토크나이저(tokenizer)는 텍스트를 토큰으로 나눠 언어 모델이 처리할 수 있는 숫자 ID로 바꾸고, 모델이 출력한 ID를 다시 텍스트로 바꾸는 구성 요소입니다.
- 토큰 가격(Token pricing)
- 토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
- 토큰(LLM)
- 토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
- 트랜스포머(아키텍처)
- 트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
- 표 추출(Table extraction)
- 표 추출(table extraction)은 문서에서 표를 찾아 그 행, 열, 머리글, 셀을 흩어진 텍스트 줄이 아니라 HTML, Markdown, CSV 같은 구조화된 데이터로 다시 만드는 작업입니다.
U
- 통합 메모리(Unified memory)
- 통합 메모리(unified memory)는 CPU와 GPU가 각자 메모리를 갖는 대신 하나의 메모리 풀을 공유하는 설계입니다. Apple Silicon Mac과 비슷한 칩에서는 로컬 AI 모델이 시스템 RAM 대부분을 GPU 메모리로 쓸 수 있게 해 줍니다.
V
- VRAM
- VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
- 바이브 코딩(Vibe coding)
- 바이브 코딩(vibe coding)은 원하는 것을 AI 모델에 설명하고, 모델이 쓴 코드를 읽거나 검토하지 않은 채 받아들이며, 프로그램이 작동하는 것처럼 보이는지만으로 결과를 판단하는 소프트웨어 개발 방식입니다.
- 벡터 검색(Vector search)
- 벡터 검색(vector search)은 항목의 임베딩을 쿼리의 임베딩과 비교해 가장 가까운 것을 돌려주는 방식으로 항목을 찾습니다. 그래서 결과가 공통 키워드가 아니라 의미로 일치합니다.
- 벡터 데이터베이스(Vector database)
- 벡터 데이터베이스(vector database)는 임베딩을 원본 레코드와 함께 저장하고, 쿼리 벡터에 가장 가까운 저장된 벡터를 찾습니다. 보통 근사 인덱스를 써서 수백만 개 항목에서도 검색이 빠르게 유지됩니다.
- 보이스 클로닝(Voice cloning)
- 보이스 클로닝(voice cloning)은 AI를 써서 음성 합성 시스템이 특정인의 녹음으로부터 배운 그 사람의 목소리로 말하게 하는 것입니다. 일부 시스템은 짧은 샘플만 있으면 됩니다.
- 비전 언어 모델(Vision-language model)
- 비전 언어 모델(vision-language model, VLM)은 이미지와 텍스트를 입력으로 받아 텍스트를 내놓는 모델로, 그림을 설명하고, 그림에 관한 질문에 답하고, 문서를 읽고, 스크린샷에서 데이터를 추출할 수 있습니다.
- 음성 에이전트(Voice agent)
- 음성 에이전트(voice agent)는 실시간으로 음성 대화를 나누는 AI 에이전트로, 사람의 말을 듣고, 무엇을 말하거나 할지 정하고, 합성 음성으로 답하며, 흔히 전화선이나 앱을 통해 작동합니다.
W
- AI용 웹 크롤링(Web crawling for AI)
- AI용 웹 크롤링(web crawling for AI)은 링크나 URL 목록을 따라 웹 페이지를 자동으로 가져와, 모델 학습, 검색 인덱스 구축, 애플리케이션이 검색할 최신 콘텐츠 제공을 위한 텍스트를 모으는 것입니다.
- Weight-Space Programming(가중치 공간 프로그래밍)
- Weight-Space Programming(가중치 공간 프로그래밍)은 언어 모델이 신경망의 가중치를 읽어 그 신경망이 무엇을 계산하는지 파악한 뒤, 그래디언트 학습 없이 그 가중치를 직접 쓰거나 편집하는, 제안 단계의 능력입니다. 프로그래머가 코드를 편집하는 것과 비슷합니다.
- 워크플로 자동화(AI)
- AI 워크플로 자동화(AI workflow automation)는 Zapier, Make, n8n 같은 도구로 트리거, 앱 동작, 모델 호출을 엮어 스스로 돌아가는 프로세스로 만드는 것으로, 새 고객 지원 티켓마다 요약하는 것이 그 예입니다.
- 워크플로와 에이전트
- 워크플로(workflow)는 단계가 코드에 고정된 경로를 따르는 LLM 시스템이고, 에이전트(agent)는 모델이 스스로 단계와 도구 호출을 정하게 하는 시스템입니다. 에이전틱 워크플로라는 이름으로 팔리는 많은 제품은 그 중간 어딘가에 있습니다.
- 월드 모델(World model)
- 월드 모델(world model)은 환경이 작동하는 방식을 다음에 일어날 일을 예측할 수 있을 만큼 배운 AI 모델로, 흔히 동영상이나 센서 데이터로 학습하며, 에이전트가 그 시뮬레이션 안에서 계획하거나 학습할 수 있게 합니다.
Z
- 데이터 무보존(Zero data retention)
- 데이터 무보존(zero data retention, ZDR)은 AI 제공업체가 요청에 답한 뒤 고객의 프롬프트와 출력을 보관하지 않는 방식으로, 보통 승인된 고객에게만, 그리고 해당되는 API 기능에만 제공됩니다.
- 제로샷(Zero-shot)
- 제로샷(zero-shot)은 프롬프트에 예시도, 작업별 학습도 없이 지시만으로 모델에게 작업을 시키는 것입니다. 모델은 이미 배운 것에만 의존합니다.