OPAL의 개요
OPAL(OPtimizer with an Agent in the Loop)은 기존 torch.optim 옵티마이저를 한 줄로 감쌉니다. 학습 중 일정한 간격마다 코딩 에이전트(기본값은 Claude Code)가 손실, 그래디언트 통계, 자신의 분석 보고서를 읽고 두 개의 작은 Python 프로그램을 다시 쓸지 결정합니다. 그래디언트를 파라미터 업데이트로 바꾸는 업데이트 규칙과, 지켜보고 싶은 값을 측정하는 분석 코드입니다. 파라미터 그룹별로 학습률, 스케줄, 모멘텀, 전처리(preconditioning), 클리핑을 바꿀 수 있지만 모델, 데이터, 손실, 평가는 건드리지 말라는 지시를 받습니다.
Xingjian Bai, Jia-Hao Liang, Jayden Teoh, Vincent Sitzmann의 논문 Reactive Optimizers(arXiv 2610.33826)의 연구 코드이며, 실제로 쓸 수 있는 패키지로 공개되었습니다. pip install opal-optimizer로 설치하고, 드라이 런, 비용 추정, 실시간 모니터링, 모든 결정과 코드 diff를 담은 HTML 보고서를 위한 CLI가 함께 제공됩니다. 실험적인 Codex 백엔드도 포함됩니다.
저장소는 2026년 10월 21일에 만들어졌고 MIT 라이선스이며 스타는 약 440개입니다. v0.3.10은 2026년 11월 3일에 나왔습니다.
OPAL, 쓸 만한 가치가 있습니까?
OPAL은 몇 시간 단위의 학습에 비용을 내는 사람이라면 살펴볼 가치가 있고, 그보다 짧은 학습에는 별 쓸모가 없습니다. 발상은 이렇습니다. 고정된 옵티마이저 레시피는 학습 전에 정해지고 다시 검토되지 않습니다. OPAL은 에이전트가 실행 을 지켜보다가 도중에 업데이트 규칙을 다시 쓰게 합니다. 에이전트가 무언가를 바꾸기 전까지 래핑된 실행은 일반 실행과 비트 단위로 동일하며, backend="keep" 드라이 런이 이를 비용 없이 증명합니다. 회의적인 엔지니어에게 먼저 보여 줄 올바른 테스트입니다.
저자들의 결과는 고무적이지만 근거가 얇습니다. ImageNet 256의 SiT-B/2에서 FID-50K는 35.7에서 23.6으로, LightningDiT-B/1에서는 가이던스를 쓴 경우 3.22에서 2.31로 낮아졌습니다. 하지만 모든 수치는 설정당 한 번의 실행이고 저자들이 직접 보고한 것이며, README에는 버전 0.2.0의 modded-nanogpt 실행 하나가 출발점이었던 기록보다 나쁘게 끝났다고 적혀 있습니다. 에이전트는 매번 다르게 판단하므로 여러분의 수치도 달라집니다.
시간 비용은 스텝마다가 아니라 결정마다 고정적으로 듭니다. 저자들의 실행에서 결정 한 번은 평균 약 40 s가 걸렸고, 이는 3.75 h짜리 RAEv2-B 실행에 0.49 h를 더했을 뿐이지만, 1~3분짜리 단일 GPU 스크립트는 27~31분으로 늘어났습니다. blocking=False를 쓰면 에이전트가 생각하는 동안에도 학습이 계속되지만 동작이 더 불안정해집니다.
보안은 분명히 짚어야 합니다. 에이전트의 셸은 네트워크가 없는 OS 샌드박스에서 실행되지만, 에이전트가 쓰는 옵티마이저 코드는 사용자의 권한으로 학습 프로세스 안에서 실행되며 격리되지 않습니다. 기본적으로 학습 스크립트와 모델 코드의 사본도 읽으며, 이는 Anthropic으로 전송됩니다. share_code=False로 제외할 수 있습니다. 프로그램의 모든 버전이 디스크에 보관되므로 최종 옵티마이저는 직접 읽고 에이전트 없이 재사용할 수 있는 Python 코드입니다.
한계는 공개된 지 3주 된 연구용 패키지다운 것입니다. 단일 노드만 지원하고 FSDP, DeepSpeed, 멀티 노드는 지원하지 않으며, 학습 자체를 되돌릴 수 없고, max_cost_usd를 설정하지 않으면 비용 상한도 없습니다. 여러 번 학습할 모델 계열에 더 나은 옵티마이저 레시피를 찾는 수단으로서가, 모든 작업에서 누르는 버튼으로서보다 더 흥미롭습니다.
제 역할을 하는 곳
8x H100 노드 하나에서 디퓨전 모델을 학습하는 박사과정 학생
전체 스윕 없이 더 나은 학습률과 옵티마이저 스케줄 찾기
AdamW를 래핑하고 무료 keep 드라이 런을 돌린 뒤, 상한을 건 몇 시간짜리 에이전트 실행을 합니다. 저자들의 RAEv2-B 실행은 에이전트 사용료 $13.30에 대기 시간 0.49 h가 더해졌습니다. programs/에 남은 최종 프로그램은 이후 실행에서 재사용할 수 있습니다.
작은 언어 모델을 사전 학습하는 15명 규모 스타트업의 ML 리드
컴퓨팅을 투입하기 전에 에이전트가 조정한 옵티마이저를 도입할 가치가 있는지 판단하기
먼저 opal estimate로 대기 시간과 비용을 확인하고, opal compare로 래핑된 실행과 일반 실행을 비교합니다. 실행마다 편차가 있으므로 결론을 내리기 전에 에이전트 실행을 최소 두 번은 잡아 두십시오.
딥러닝 최적화를 가르치는 대학 강의
실제 학습에서 옵티마이저 선택이 어떻게 작용하는지 학생들에게 보여 주기
CPU용 MNIST 예제는 일반 실행에 약 15 s가 걸립니다. 저자들의 테스트에서 에이전트 버전은 862 s가 걸렸고 비용은 $2.70이었습니다. HTML 보고서에 각 결정, 그 근거, diff가 나옵니다.
도입 전 확인할 점
- 설정
- 학습 환경(Python 3.10 이상, PyTorch 2.5 이상)에 pip install opal-optimizer로 설치하고 opal doctor를 실행한 다음, opal.wrap과 한 문장짜리 목표로 옵티마이저를 래핑합니다. rank 0 머신에 Claude Code가 설치되어 로그인되어 있어야 하며, 인터넷이 없는 GPU 노드는 메일박스 브로커로 해결합니다.
- 연동
- 모든 torch.optim 옵티마이저와 스케줄러, opal.hf.OpalTrainer를 통한 Hugging Face Trainer, accelerator.prepare 이후의 Accelerate(제한 있음)를 지원합니다. 기본 백엔드는 Claude Code(claude-opus-5-5, 높은 노력)이며 Codex는 실험적입니다.
- 데이터와 개인정보
- 에이전트는 목표, 파라미터 이름과 형태, 손실, 자신의 보고서, 그리고 기본적으로 학습 스크립트와 모델 코드의 읽기 전용 사본을 보며, 모두 모델 제공업체로 전송됩니다. 기록한 지표 는 show_agent=True가 아니면 로컬에 남습니다. 에이전트가 쓴 옵티마이저 코드는 프로세스 안에서 격리 없이 실행됩니다.
- 대규모 사용 시 비용
- 저자들이 공개한 예제에서 에이전트 비용은 여러 시간짜리 실행 한 번에 $9.71에서 $17.25였고, 여기에 학습이 기다리는 동안의 추가 GPU 시간이 붙습니다. 예를 들어 6.13 h짜리 LightningDiT 실행에서는 0.66 h였습니다. max_cost_usd는 Claude 지출을 제한하지만 Codex는 제한하지 않습니다.
- 제한
- 단일 노드만 지원하며 FSDP, DeepSpeed, 멀티 노드는 지원하지 않습니다. 학습을 되돌릴 수 없고 다음 결정에서 프로그램을 고칠 수 있을 뿐입니다. 짧은 실행에서는 에이전트 대기 시간이 대부분을 차지합니다. 버전 0.3.x이며 활발히 개발 중입니다.
좋은 점
- 에이전트가 움직이기 전까지 래핑된 실행이 비트 단위로 동일
- 에이전트 호출 전에 무료 드라이 런과 비용 추정
- 모든 근거와 코드 diff를 담은 HTML 보고서
- CPU, 단일 GPU, 단일 노드 내 DDP에서 실행
- 네트워크 없는 샌드박스에서 도는 에이전트 셸
아쉬운 점
- 결과는 저자들이 보고한 단일 실행
- 에이전트가 쓴 옵티마이저 코드는 프로세스 안에서 격리 없이 실행
- 직접 설정하지 않으면 비용 상한이 없음
- 멀티 노드, FSDP, DeepSpeed 미지원
추천 대상
단일 노드에서 몇 시간짜리 PyTorch 작업을 돌리며, 손으로는 시도하지 않았을 옵티마이저 변경을 탐색하고 싶은 ML 연구자와 소규모 연구실에 적합합니다.
OPAL 대안
OPAL: 자주 묻는 질문
- OPAL, 쓸 만한 가치가 있습니까?
- 긴 학습을 에이전트가 진행 중에 조정하게 하는 영리하고 꼼꼼하게 계측된 방법이지만, 개선 결과는 저자들이 보고한 단일 실행이고 실행을 더 나쁘게 만들 수도 있습니다. 평점은 5점 만점에 3.6점입니다.
- OPAL의 가격은 얼마입니까?
- MIT 라이선스로 무료입니다. 에이전트 호출은 사용자의 Claude 계정에 청구됩니다. 저자들의 여러 시간짜리 실행에서 에이전트 사용료는 $9.71에서 $17.25였습니다.
- OPAL의 단점은 무엇입니까?
- 결과는 저자들이 보고한 단일 실행; 에이전트가 쓴 옵티마이저 코드는 프로세스 안에서 격리 없이 실행; 직접 설정하지 않으면 비용 상한이 없음; 멀티 노드, FSDP, DeepSpeed 미지원.
- OPAL에 적합한 사람은 누구입니까?
- 단일 노드에서 몇 시간짜리 PyTorch 작업을 돌리며, 손으로는 시도하지 않았을 옵티마이저 변경을 탐색하고 싶은 ML 연구자와 소규모 연구실에 적합합니다.
- 팀이나 프로덕션 환경에서 OPAL의 비용은 얼마입니까?
- 저자들이 공개한 예제에서 에이전트 비용은 여러 시간짜리 실행 한 번에 $9.71에서 $17.25였고, 여기에 학습이 기다리는 동안의 추가 GPU 시간이 붙습니다. 예를 들어 6.13 h짜리 LightningDiT 실행에서는 0.66 h였습니다. max_cost_usd는 Claude 지출을 제한하지만 Codex는 제한하지 않습니다.
- OPAL에 회사 데이터를 맡겨도 안전합니까?
- 에이전트는 목표, 파라미터 이름과 형태, 손실, 자신의 보고서, 그리고 기본적으로 학습 스크립트와 모델 코드의 읽기 전용 사본을 보며, 모두 모델 제공업체로 전송됩니다. 기록한 지표는 show_agent=True가 아니면 로컬에 남습니다. 에이전트가 쓴 옵티마이저 코드는 프로세스 안에서 격리 없이 실행됩니다.
- OPAL의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 The AI Scientist (v1, v2 and v3) 및 PyTorch입니다.
답변 확인일: 2026년 11월 11일.