신경망의 가중치는 보통 읽을 수 없는 것으로 여겨집니다. 최적화 알고리즘이 만들어 낸 수백만 개의 숫자로, 간접적으로만 들여 다볼 수 있습니다. MIT CSAIL 연구자 네 명의 블로그 글은 동영상 채널 Two Minute Papers에도 소개됐는데, GPT-6 Astra가 이 가중치를 코드처럼 읽고 쓸 수 있다고 주장하며 이 개념을 가중치 공간 프로그래밍이라고 부릅니다.
실험은 작게 시작합니다. 각각 17,253개의 가중치를 가진 똑같은 구조의 네트워크 네 개를 격자판 버전의 Breakout, Pong, Pac-Man, Freeway를 하도록 학습시켰습니다. 선택지 없이 원시 가중치만 텍스트로 받은 Astra는 네 개 모두의 게임을 맞혔고, 그중 하나는 99% 확신도였습니다. 작은 확산 모델 세 개가 각각 어떤 도형을 그리는지도 가중치만 보고 알아냈습니다. 입력층과 출력층을 뗀 작은 문자 단위 언어 모델 세 개에서는 학습 언어가 Python, 로마자 일본어, 영어 중 무엇인지 맞혔고, 복사 역할을 하는 헤드를 모두 찾아냈습니다. 이는 연구진이 네트워크를 실제로 돌려 측정한 결과와 일치합니다.
그다음에는 가중치를 썼습니다. 경사로에 정면으로 돌진해 멈춰 버리는 자동차 정책을 받자 Astra는 실패 원인을 설명했고, 도구 없이 한 번의 시도로 가중치의 3.5%를 고쳐 1,024번의 테스트 모두에서 자동차가 성공하게 했습니다. 핵심 결과는 실제 모델에서 나왔습니다. 학습 없이 Qwen3.5-0.8B의 수학 실력을 높이라는 요청에 Astra는 사고 모드에서 루프에 빠지는 이 모델의 알려진 버릇을 MLP 15층과 19층이 쓰는 한 방향으로 추적해 이를 빼냈고, 가중치의 0.016%를 바꿨습니다. MATH-500은 7.9%에서 48.1%로, GSM8K는 13.8%에서 67.1%로, 지시 따르기 시험인 IFEval은 21.0%에서 62.3%로 올랐습니다.
저희 GPT-6 Astra 리뷰를 읽은 독자에게 이는 모델이 겉으로 드러난 글이 아니라 구조에 대해 추론한다는 인상적인 시연입니다. 빠른 후속 연구도 나왔습니 다. 별도 기사에서 다루는 프리프린트 Tree-Ising은 에이전트의 공개 로그를 바탕으로 같은 수리를 솔버 문제로 다시 짰고, 약 0.90달러의 GPU 시간으로 MATH-500 점수를 조금 더 높였습니다.
그 후속 연구가 주의할 점을 보는 올바른 틀입니다. 이것은 동료 심사를 거친 논문이 아니라 블로그 글이며, 실험 대부분은 실제 서비스에 쓰이는 어떤 모델보다 훨씬 작은 네트워크를 썼습니다. Qwen 수정은 새 능력을 더한 것이 아니라 잘 알려진 결함 하나를 없앤 것이고, 값싼 최적화 도구가 같은 결과를 냈다는 사실은 어려운 부분이 편집이 아니라 진단이었음을 시사합니다. 능력 자체는 진짜로 보이지만, 얼마나 확장되는지와 작업당 비용이 얼마인지는 아직 모릅니다.