AI 모델이 긴 영상을 블록 단위로 만들면서 도중에 새 지시를 받을 수 있는 스트리밍 영상 생성은, 블록마다 모델을 다시 돌려야 해서 비용이 많이 듭니다. arXiv에 올라온 새 사전 공개 논문은 이런 모델을 아주 적은 단계로 작동하도록 훈련하면서 훈련 중 메모리를 덜 쓰는 방법 APEX를 소개합니다. 최종 사용자보다는 연구자와 연구소를 겨냥한 내용이지만, AI 영상 도구가 얼마나 저렴해질지를 결국 결정하는 것은 이런 효율화 연구입니다.
기술적 문제는 구체적입니다. 영상 모델을 빠르게 만드는 흔한 방법인 Distribution Matching Distillation은 훈련 중 보조 네트워크 두 개가 필요합니다. 좋은 출력을 나타내는 고정된 교사와, 생성기가 지금 무엇을 내놓는지 따라가는 별도의 가짜 점수 네트워크입니다. 큰 영상 모델에서는 이 두 번째 네트워크가 메모리와 연산을 잡아먹고, 변해 가는 생성기에 계속 맞춰야 합니다. APEX는 이것을 없앱니다. 조건 이동이라는 기법으로 같은 모델이 두 역할을 맡습니다. 일반 텍스트 프롬프트는 생성을 하게 하고, 이동시킨 프롬프트는 자기 출력 분포를 추정하게 합니다. 이전 시스템 S2-Avatar의 고정된 교사와 훈련 방법 Self-Replay Forcing은 그대로 유지합니다.
평가는 180초짜리 영상으로 했습니다. S2-Avatar와 비교해 APEX는 벤치마크의 Progressive 트랙에서 지시 이행 점수가 3.856 대 3.831로 조금 높았고, 시각적 미감도 0.641898 대 0.632606으로 앞섰습니다. 70건의 사람 평가에서 평가자들은 지시 따르기에서 APEX를 가장 분명하게 선호했으며 순선호도는 +30.0%였고, 일관성과 영상 품질에서는 각각 +4.3%였습니다. 같은 훈련 설정에서 표준 증류 방법보다 GPU당 최대 메모리를 4.4% 덜 썼고 훈련 반복 한 번이 9.2% 빨랐습니다.
절감 폭은 크지 않으며, 그것이 정직한 요약입니다. 자동 점수의 향상은 작고, 가장 분명한 이점은 영상이 바뀌는 지시를 더 잘 따른다는 점으로, 아바타나 실시간 이야기 같은 대화형 용도에서 중요합니다.
한계는 초록에 그대로 드러납니다. 움직임 품질에서는 평가자들이 S2-Avatar를 선호했고, 소리와 영상의 동기화는 대부분 비겼으며, 사용성은 달라지지 않았습니다. 사람 평가 규모가 작고, 비교 대상은 이전 시스템 하나뿐이며, 동료 심사를 거치지 않은 사전 공개 논문입니다. 코드나 제품 공개에 대한 설명은 없습니다.