Weight-Space Programming(가중치 공간 프로그래밍)
Weight-Space Programming(가중치 공간 프로그래밍)은 언어 모델이 신경망의 가중치를 읽어 그 신경망이 무엇을 계산하는지 파악한 뒤, 그래디언트 학습 없이 그 가중치를 직접 쓰거나 편집하는, 제안 단계의 능력입니다. 프로그래머가 코드를 편집하는 것과 비슷합니다.
다른 이름: Weight-Space Programming
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
이 용어는 MIT CSAIL의 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab가 2026년 11월에 쓴 블로그 글에서 나왔습니다. 동료 심사를 거친 논문이 아니라 블로그 글이며, 저자들은 weight-space programming이 방법론이 아니라고 분명히 말합니다. 이들은 이 이름을 새로 떠오르는 개념에 붙였고, 실험은 프런티어 모델이 이를 할 수 있게 되기 시작했다는 초기 증거로 제시합니다.
글이 보고하는 내용
저자들은 GPT-6 Astra에 원시 모델 가중치를 주고 자연어로 질문했습니다. 작은 신경망에서는 정책이 어떤 게임용으로 학습되었는지 맞혔고, 학습 없이 게임을 하는 신경망을 처음부터 작성했습니다. 가장 큰 실험은 Qwen3.5-0.8B를 사용했습니다. Python 커널과 제한된 횟수의 forward pass를 쓰되 그래디언트 없이, Astra는 모델의 추론 루프를 두 층이 쓰는 하나의 방향으로 추적해 가중치의 0.016%를 편집했습니다. MATH-500 점수는 7.9%에서 48.1%로 올랐습니다. 같은 방법은 루프가 거의 없는 Gemma 3 270M은 개선하지 못했습니다.
파인튜닝과의 차이
파인튜닝과 지식 증류는 옵티마이저와 학습 데이터로 가중치를 바꿉니다. weight-space programming에서는 범용 모델이 신경망의 각 부분이 무엇을 계산하는지 추론하고 편집 내용을 스스로 정합니다. Qwen 수정은 가중치에서 한 방향을 지워 동작을 제거하는 abliteration과 비슷하지만, 여기서는 모델이 그 방향을 스스로 찾았습니다.
한계
결과는 한 팀에서 나왔고 대부분 작은 신경망에서 얻은 것이며, 저자들도 이 능력이 아직 컨텍스트 길이와 하네스 때문에 제한된다고 설명합니다. 전체 로그가 공개되었고 다른 사람들이 일부를 재현했으며, 저자들은 이를 위한 벤치마크를 만들고 있다고 말합니다. 프로덕션에서 의존할 기술이 아니라 초기 연구 주장으로 보아야 합니다.
관련 용어
- 모델 가중치(Model weights)
- 모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
- 모델 파라미터(Model parameters)
- 모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.
- Abliteration(어블리터레이션)
- Abliteration(어블리터레이션)은 언어 모델이 요청을 거부하지 못하게 하는 기법입니다. 거부를 담당하는 단 하나의 내부 방향을 찾아, 모델이 더 이상 그 방향에 쓸 수 없도록 가중치를 편집하며 재학습은 필요하지 않습니다.
- 파인튜닝(미세 조정)
- 파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
- 지식 증류
- 지식 증류(knowledge distillation)는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 흉내 내도록 학습시키는 방법으로, 교사의 능력을 상당 부분 유지하면서 비용은 낮은 증류 모델을 만듭니다.
출처
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)