본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

모델과 작동 방식

언어 모델을 비롯한 AI 모델이 무엇인지, 어떻게 만들어지고 규모가 정해지는지, 그리고 이를 설명하는 용어입니다.

GGUF
GGUF는 모델의 가중치, 토크나이저, 메타데이터를 파일 하나에 저장하는 바이너리 파일 형식으로, llama.cpp 같은 GGML 기반 도구에서 빠르게 불러와 로컬 추론을 하도록 만들어졌으며 흔히 양자화된 형태로 쓰입니다.
ONNX
ONNX(Open Neural Network Exchange)는 머신러닝 모델을 위한 개방형 파일 형식입니다. 모델을 표준 연산자의 그래프로 기술하므로, 한 프레임워크에서 학습하고 다른 곳에서 실행할 수 있습니다.
Safetensors
Safetensors는 Hugging Face가 만든 모델 가중치 저장용 파일 형식입니다. Python pickle 파일과 달리 불러올 때 숨겨진 코드가 실행될 수 없으며, 개별 텐서를 메모리 매핑으로 빠르게 불러올 수 있습니다.
Weight-Space Programming(가중치 공간 프로그래밍)
Weight-Space Programming(가중치 공간 프로그래밍)은 언어 모델이 신경망의 가중치를 읽어 그 신경망이 무엇을 계산하는지 파악한 뒤, 그래디언트 학습 없이 그 가중치를 직접 쓰거나 편집하는, 제안 단계의 능력입니다. 프로그래머가 코드를 편집하는 것과 비슷합니다.
대규모 언어 모델
대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
멀티모달 모델(Multimodal model)
멀티모달 모델(multimodal model)은 텍스트, 이미지, 오디오, 동영상 같은 여러 종류의 데이터를 별도 시스템이 아니라 하나의 모델 안에서 받아들이고, 경우에 따라 생성하기도 하는 AI 모델입니다.
모델 가중치(Model weights)
모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
모델 라이선스(Model license)
모델 라이선스(model license)는 모델의 가중치, 그리고 경우에 따라 코드와 데이터를 사용, 변경, 공유할 수 있는 법적 조건입니다. 허용적인 오픈 라이선스부터 비상업용 또는 자체 제한 라이선스까지 다양합니다.
모델 파라미터(Model parameters)
모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.
베이스 모델
베이스 모델(base model)은 지시 튜닝이나 인간 피드백 학습을 거치기 전, 사전 학습을 막 마친 언어 모델입니다. 지시를 따르거나 대화를 이어 가기보다 주어진 텍스트를 계속 이어 씁니다.
비전 언어 모델(Vision-language model)
비전 언어 모델(vision-language model, VLM)은 이미지와 텍스트를 입력으로 받아 텍스트를 내놓는 모델로, 그림을 설명하고, 그림에 관한 질문에 답하고, 문서를 읽고, 스크린샷에서 데이터를 추출할 수 있습니다.
사전 학습(Pretraining)
사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.
상태 공간 모델(State space model)
상태 공간 모델(state space model, SSM)은 토큰을 하나씩 읽으면서 고정 크기의 은닉 상태를 앞으로 전달하는 시퀀스 모델로, 비용이 입력 길이에 비례해 선형으로 늘어납니다. 가장 잘 알려진 예는 Mamba입니다.
소형 언어 모델(Small language model)
소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.
양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
어텐션 메커니즘
어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.
오픈 웨이트 모델(Open-weight model)
오픈 웨이트 모델(open-weight model)은 학습된 가중치가 공개되어 누구나 내려받아 실행할 수 있는 모델입니다. 학습 코드나 전체 학습 데이터가 빠진 경우가 많아 반드시 오픈소스인 것은 아닙니다.
오픈소스 AI(Open source AI)
오픈소스 AI(open source AI)는 누구나 사용, 연구, 수정, 공유할 수 있는 조건으로 공개되고, 이를 바꾸는 데 필요한 요소, 즉 학습 데이터 정보, 전체 코드, 모델 파라미터에 접근할 수 있는 AI 시스템입니다.
월드 모델(World model)
월드 모델(world model)은 환경이 작동하는 방식을 다음에 일어날 일을 예측할 수 있을 만큼 배운 AI 모델로, 흔히 동영상이나 센서 데이터로 학습하며, 에이전트가 그 시뮬레이션 안에서 계획하거나 학습할 수 있게 합니다.
인스트럭트 모델
인스트럭트 모델(instruct model)은 베이스 언어 모델을 지시와 좋은 답의 쌍으로, 흔히 인간 피드백으로도 추가 학습시켜, 텍스트를 이어 쓰는 대신 요청을 따르게 만든 모델입니다.
자기회귀 모델
자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.
전문가 혼합(Mixture of experts)
전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.
지식 증류
지식 증류(knowledge distillation)는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 흉내 내도록 학습시키는 방법으로, 교사의 능력을 상당 부분 유지하면서 비용은 낮은 증류 모델을 만듭니다.
지식 컷오프
지식 컷오프(knowledge cutoff)는 그 이후로 모델이 정보를 거의 또는 전혀 갖지 않는 날짜입니다. 학습 데이터가 대략 그 무렵까지 수집되었기 때문입니다. 그 이후의 사건은 프롬프트에 주지 않는 한 모델이 알지 못합니다.
추론 모델(Reasoning model)
추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
컨텍스트 윈도
컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
테스트 타임 컴퓨트(Test-time compute)
테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.
토크나이저(Tokenizer)
토크나이저(tokenizer)는 텍스트를 토큰으로 나눠 언어 모델이 처리할 수 있는 숫자 ID로 바꾸고, 모델이 출력한 ID를 다시 텍스트로 바꾸는 구성 요소입니다.
토큰(LLM)
토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
트랜스포머(아키텍처)
트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
파운데이션 모델
파운데이션 모델(foundation model)은 폭넓은 데이터로 대규모 학습한 큰 모델로, 한 가지 작업을 위해 만들어지는 대신 프롬프팅이나 미세 조정을 통해 여러 하위 작업에 맞춰 조정할 수 있습니다.
프런티어 모델
프런티어 모델(frontier model)은 특정 시점에 이용할 수 있는 가장 유능한 범용 AI 모델 가운데 하나로, 보통 자금이 풍부한 연구소에서 나옵니다. 상대적인 용어이며 AI 안전 정책에도 등장합니다.
확산 언어 모델
확산 언어 모델(dLLM, diffusion language model)은 한 번에 토큰 하나씩 쓰는 대신, 완전히 마스킹되거나 노이즈가 섞인 시퀀스에서 시작해 여러 단계에 걸쳐 많은 토큰 위치를 병렬로 다듬어 텍스트를 생성합니다.
환각(AI)
환각(hallucination)은 AI 모델의 출력이 유창하고 자신감 있게 들리지만 거짓이거나, 출처의 뒷받침이 없거나, 지어낸 것인 경우를 말합니다. 꾸며 낸 인용, 발언, 통계, API 함수 등이 그 예입니다.