모델과 작동 방식
언어 모델을 비롯한 AI 모델이 무엇인지, 어떻게 만들어지고 규모가 정해지는지, 그리고 이를 설명하는 용어입니다.
- GGUF
- GGUF는 모델의 가중치, 토크나이저, 메타데이터를 파일 하나에 저장하는 바이너리 파일 형식으로, llama.cpp 같은 GGML 기반 도구에서 빠르게 불러와 로컬 추론을 하도록 만들어졌으며 흔히 양자화된 형태로 쓰입니다.
- ONNX
- ONNX(Open Neural Network Exchange)는 머신러닝 모델을 위한 개방형 파일 형식입니다. 모델을 표준 연산자의 그래프로 기술하므로, 한 프레임워크에서 학습하고 다른 곳에서 실행할 수 있습니다.
- Safetensors
- Safetensors는 Hugging Face가 만든 모델 가중치 저장용 파일 형식입니다. Python pickle 파일과 달리 불러올 때 숨겨진 코드가 실행될 수 없으며, 개별 텐서를 메모리 매핑으로 빠르게 불러올 수 있습니다.
- Weight-Space Programming(가중치 공간 프로그래밍)
- Weight-Space Programming(가중치 공간 프로그래밍)은 언어 모델이 신경망의 가중치를 읽어 그 신경망이 무엇을 계산하는지 파악한 뒤, 그래디언트 학습 없이 그 가중치를 직접 쓰거나 편집하는, 제안 단계의 능력입니다. 프로그래머가 코드를 편집하는 것과 비슷합니다.
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- 멀티모달 모델(Multimodal model)
- 멀티모달 모델(multimodal model)은 텍스트, 이미지, 오디오, 동영상 같은 여러 종류의 데이터를 별도 시스템이 아니라 하나의 모델 안에서 받아들이고, 경우에 따라 생성하기도 하는 AI 모델입니다.
- 모델 가중치(Model weights)
- 모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
- 모델 라이선스(Model license)
- 모델 라이선스(model license)는 모델의 가중치, 그리고 경우에 따라 코드와 데이터를 사용, 변경, 공유할 수 있는 법적 조건입니다. 허용적인 오픈 라이선스부터 비상업용 또는 자체 제한 라이선스까지 다양합니다.
- 모델 파라미터(Model parameters)
- 모델 파라미터(model parameters)는 신경망이 학습 중 에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.
- 베이스 모델
- 베이스 모델(base model)은 지시 튜닝이나 인간 피드백 학습을 거치기 전, 사전 학습을 막 마친 언어 모델입니다. 지시를 따르거나 대화를 이어 가기보다 주어진 텍스트를 계속 이어 씁니다.
- 비전 언어 모델(Vision-language model)
- 비전 언어 모델(vision-language model, VLM)은 이미지와 텍스트를 입력으로 받아 텍스트를 내놓는 모델로, 그림을 설명하고, 그림에 관한 질문에 답하고, 문서를 읽고, 스크린샷에서 데이터를 추출할 수 있습니다.
- 사전 학습(Pretraining)
- 사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.
- 상태 공간 모델(State space model)
- 상태 공간 모델(state space model, SSM)은 토큰을 하나씩 읽으면서 고정 크기의 은닉 상태를 앞으로 전달하는 시퀀스 모델로, 비용이 입력 길이에 비례해 선형으로 늘어납니다. 가장 잘 알려진 예는 Mamba입니다.
- 소형 언어 모델(Small language model)
- 소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.
- 양자화(Quantization)
- 양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
- 어텐션 메커니즘
- 어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.
- 오픈 웨이트 모델(Open-weight model)
- 오픈 웨이트 모델(open-weight model)은 학습된 가중치가 공개되어 누구나 내려받아 실행할 수 있는 모델입니다. 학습 코드나 전체 학습 데이터가 빠진 경우가 많아 반드시 오픈소스인 것은 아닙니다.
- 오픈소스 AI(Open source AI)
- 오픈소스 AI(open source AI)는 누구나 사용, 연구, 수정, 공유할 수 있는 조건으로 공개되고, 이를 바꾸는 데 필요한 요소, 즉 학습 데이터 정보, 전체 코드, 모델 파라미터에 접근할 수 있는 AI 시스템입니다.
- 월드 모델(World model)
- 월드 모델(world model)은 환경이 작동하는 방식을 다음에 일어날 일을 예측할 수 있을 만큼 배운 AI 모델로, 흔히 동영상이나 센서 데이터로 학습하며, 에이전트가 그 시뮬레이션 안에서 계획하거나 학습할 수 있게 합니다.
- 인스트럭트 모델
- 인스트럭트 모델(instruct model)은 베이스 언어 모델을 지시와 좋은 답의 쌍으로, 흔히 인간 피드백으로도 추가 학 습시켜, 텍스트를 이어 쓰는 대신 요청을 따르게 만든 모델입니다.
- 자기회귀 모델
- 자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.
- 전문가 혼합(Mixture of experts)
- 전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.
- 지식 증류
- 지식 증류(knowledge distillation)는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 흉내 내도록 학습시키는 방법으로, 교사의 능력을 상당 부분 유지하면서 비용은 낮은 증류 모델을 만듭니다.
- 지식 컷오프
- 지식 컷오프(knowledge cutoff)는 그 이후로 모델이 정보 를 거의 또는 전혀 갖지 않는 날짜입니다. 학습 데이터가 대략 그 무렵까지 수집되었기 때문입니다. 그 이후의 사건은 프롬프트에 주지 않는 한 모델이 알지 못합니다.
- 추론 모델(Reasoning model)
- 추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
- 컨텍스트 윈도
- 컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
- 테스트 타임 컴퓨트(Test-time compute)
- 테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.
- 토크나이저(Tokenizer)
- 토크나이저(tokenizer)는 텍스트를 토큰으로 나눠 언어 모델이 처리할 수 있는 숫자 ID로 바꾸고, 모델이 출력한 ID를 다시 텍스트로 바꾸는 구성 요소입니다.
- 토큰(LLM)
- 토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
- 트랜스포머(아키텍처)
- 트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
- 파운데이션 모델
- 파운데이션 모델(foundation model)은 폭넓은 데이터로 대규모 학습한 큰 모델로, 한 가지 작업을 위해 만들어지는 대신 프롬프팅이나 미세 조정을 통해 여러 하위 작업에 맞춰 조정할 수 있습니다.
- 프 런티어 모델
- 프런티어 모델(frontier model)은 특정 시점에 이용할 수 있는 가장 유능한 범용 AI 모델 가운데 하나로, 보통 자금이 풍부한 연구소에서 나옵니다. 상대적인 용어이며 AI 안전 정책에도 등장합니다.
- 확산 언어 모델
- 확산 언어 모델(dLLM, diffusion language model)은 한 번에 토큰 하나씩 쓰는 대신, 완전히 마스킹되거나 노이즈가 섞인 시퀀스에서 시작해 여러 단계에 걸쳐 많은 토큰 위치를 병렬로 다듬어 텍스트를 생성합니다.
- 환각(AI)
- 환각(hallucination)은 AI 모델의 출력이 유창하고 자신감 있게 들리지만 거짓이거나, 출처의 뒷받침이 없거나, 지어낸 것인 경우를 말합니다. 꾸며 낸 인용, 발언, 통계, API 함수 등이 그 예입니다.