확산 언어 모델
확산 언어 모델(dLLM, diffusion language model)은 한 번에 토큰 하나씩 쓰는 대신, 완전히 마스킹되거나 노이즈가 섞인 시퀀스에서 시작해 여러 단계에 걸쳐 많은 토큰 위치를 병렬로 다듬어 텍스트를 생성합니다.
다른 이름: dLLM, masked diffusion language model
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
대부분의 대규모 언어 모델은 자기회귀 방식입니다. 왼쪽에서 오른쪽으로, 단계마다 토큰 하나씩 씁니다. 확산 언어 모델은 이미지 확산 모델이 쓰는 방식을 빌려 옵니다. 모든 위치가 가려진 시퀀스에서 시작해 전부를 예측하고, 가장 확신하는 예측을 남기고, 텍스트가 완성될 때까지 반복합니다.
작동 방식
흔한 방법은 마스크 확산(masked diffusion)입니다. 학습 중에는 실제 텍스트의 무작위 부분을 마스크 토큰으로 바꾸고, 모델(보통 왼쪽에서 오른쪽 방향의 마스크가 없는 트랜스포머)이 이를 채우는 법을 배웁니다. 생성할 때는 그 과정을 거꾸로 실행합니다. LLaDA 논문이 정확히 이를 설명합니다. 순방향 마스킹 과정과 역방향 생성 과정입니다. LLaDA는 일반 LLM에 쓰이는 것과 같은 사전 학습과 지도 미세 조정 단계로 학습되었습니다.
개발자가 신경 쓰는 이유
많은 토큰을 한꺼번에 채우므로 확산 모델은 더 적은 단계로 텍스트를 만들 수 있고, 이는 훨씬 높은 처리량으로 이어질 수 있습니다. 이 사이트에서 리뷰한 Google의 실험 모델 DiffusionGemma 26B A4B가 그런 맞교환의 예입니다. 모델은 편집하면서 시퀀스 전체를 볼 수도 있으므로, 코드나 텍스트의 중간을 채우는 일에 맞습니 다.
한계
매개변수당 품질은 대체로 최고의 자기회귀 모델에 뒤처져 왔고, 단계가 적을수록 대개 품질이 낮아집니다. 서빙 도구, KV 캐싱, 스트리밍은 토큰 단위 생성을 중심으로 만들어졌으므로, dLLM 지원은 더 새롭고 빈약합니다. 바꿔 쓰기 전에 자신의 작업으로 시험해 보십시오.
관련 용어
- 확산 모델
- 확산 모델(diffusion model)은 여러 단계에 걸쳐 노이즈를 조금씩 제거하면서 무작위 노이즈를 이미지 같은 데이터로 바꾸는 법을 배우는 생성 모델입니다.
- 자기회귀 모델
- 자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- KV 캐시
- KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
- 초당 토큰 수(Tokens per second)
- 초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.