본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

AI 뉴스와 연구

연구 ·

MMFlash, 출력 변화 없이 시각언어 모델을 최대 3.58배 가속

National University of Singapore의 프리프린트 MMFlash는 확산 기반 추측 디코딩을 이미지와 동영상을 읽는 모델에 적용합니다. 저자들은 이미지에 크게 의존하는 초안 토큰의 채택률이 22%에 그쳐, 시각 의존도가 가장 낮은 토큰의 46%보다 낮다는 것을 발견하고 학습에서 이들에 더 큰 가중치를 줍니다. 손실 없는 가속은 최대 3.58배로 EAGLE-3와 DFlash를 앞섭니다.

시각언어 모델이 느린 이유는 챗봇과 같습니다. 토큰을 하나씩 쓰기 때문입니다. 추측 디코딩은 작은 초안 모델이 몇 토큰 앞을 추측하게 하고, 큰 모델이 이를 한 번에 확인해 동의하는 것만 남기는 방식으로 속도를 높입니다. National University of Singapore의 프리프린트 MMFlash는 모델이 이미지와 동영상을 읽을 때 이 방식이 더 잘 작동하게 합니다.

팀은 블록 확산으로 한 번에 토큰 블록 전체를 제안하는 최신 초안 모델 DFlash에서 출발했습니다. 이미지가 있을 때와 없을 때 모델의 예측을 비교해 각 토큰이 이미지에 얼마나 의존하는지 측정했습니다. 결과는 분명했습니다. 시각 의존도가 가장 낮은 초안 토큰은 46%가 채택됐지만, 가장 시각적인 토큰은 22%에 그쳤습니다. 가장 시각적인 4분의 1이 초안 블록 안의 첫 거부 중 44%를 차지했습니다. 멀티모달 데이터로 학습해도 격차는 줄지 않았습니다.

MMFlash의 해법은 초안 모델이 아직 잘 예측하지 못하는 시각 의존 토큰에 학습에서 더 큰 가중치를 주고, 나아질수록 그 가중치를 줄이는 것입니다. 긴 동영상에서는 초안 모델이 희소 어텐션 패턴을 써서 40,000 토큰이 넘는 컨텍스트를 약 1,600개로 줄입니다. Qwen3.5 모델을 쓴 7개 이미지 벤치마크에서 탐욕적 디코딩의 평균 가속은 3.00~3.05배로, DFlash보다 10.3%~10.9% 높았습니다. 3개의 긴 동영상 벤치마크에서는 2,000개 샘플로 짧게 추가 학습해 2.33~2.71배의 가속을 얻었습니다. Gemma4-E4B와 Qwen3.8-27B에서도 효과가 있었고, 더 큰 모델에서는 최대 4.71배였습니다.

큰 모델이 모든 토큰을 확인하므로 출력은 일반 디코딩과 똑같습니다. 그래서 Qwen 3.8 27B나 Gemma 4 같은 오픈 모델을 SGLang이나 vLLM으로 서비스하는 팀에게는 위험이 적은 최적화이며, 코드와 초안 모델도 공개돼 있습니다.

주의할 점: 부하가 걸리면 한계가 드러납니다. SGLang에서 Qwen3.5-4B의 한 벤치마크는 요청 1개일 때 3.46배였던 가속이 동시 요청 32개에서는 1.61배로 떨어졌습니다. 바쁜 서버는 이미 하드웨어를 꽉 채워 쓰기 때문입니다. 제목의 3.58배는 최선의 경우입니다. 논문은 진행 중인 작업이라고 표시된 프리프린트이고, 결과는 저자 자신의 것이며, 동영상 초안은 여전히 이미지보다 어렵습니다.

결론: 출력이 바뀌지 않으므로 Qwen이나 Gemma 시각 모델을 운영하는 사람에게는 비용이 적은 개선입니다. 다만 결과는 저자 자신의 것이고, 동시에 처리하는 요청이 늘수록 가속 효과가 크게 줄어드는데, 대부분의 실제 서버가 바로 그렇게 운영됩니다.

관련 리뷰:Qwen3.8-27BGemma 4

출처: arXiv (Hugging Face Daily Papers)

다른 기사