ByteDance XVerse: AI 이미지 한 장에서 여러 대상을 제어하는 오픈소스 모델

대부분의 이미지 생성기에 특정 인물 두 명이 한 장면에 나오도록 요청하면, 얼굴이 서로 섞이거나 한 사람에게 준 변경이 다른 사람에게까지 번지기 쉽습니다. ByteDance의 Creative AI 팀이 만든 ByteDance XVerse는 이를 해결하기 위해 만든 텍스트-이미지 모델입니다. 2025년 6월에 공개되었으며, 이미지를 일관되고 깔끔하게 유지하면서 각 대상의 정체성과 자세, 스타일, 조명 같은 속성을 따로 제어할 수 있게 해 줍니다.

각 참조 이미지를 이미지 잠재 변수를 직접 바꾸는 대신, 텍스트 스트림 속 해당 대상의 토큰에 적용되는 오프셋으로 바꾸는 방식으로 작동합니다. 실제로는 한 대상을 조정해도 다른 대상은 그대로 남는다는 뜻입니다(arXiv Paper; GitHub Repository).

하는 일

• 여러 대상을 한 번에. 이미지 한 장에서 각 대상을 독립적으로 제어하며, 벤치마크는 최대 세 대상까지 다룹니다(Project Page). 이는 Diffusion Transformers(DiT)를 위한 새로운 변조 방식에 기반합니다.
• 정체성을 유지합니다. 대상들은 알아볼 수 있고 서로 구별되며, 이는 Face ID Similarity와 DINOv2 Similarity로 측정합니다(arXiv Paper). 정체성 유지에 쓰이는 이미지 특징은 CLIP 모델이 인코딩합니다.
• 대상별 속성. 자세, 스타일, 조명을 대상마다 설정할 수 있으며(Hugging Face Model), Florence2가 참조 이미지에 대한 상세한 설명을 제공합니다.
• 이미지 품질. 변분 오토인코더(VAE)로 인코딩한 특징을 FLUX.1 모델에 넣어 세밀한 디테일을 유지하고 아티팩트를 줄입니다(Project Page).
• 토큰별 변조 덕분에 나머지를 건드리지 않고 한 번에 한 대상만 편집합니다(GitHub Repository).
• 24GB 소비자용 GPU에서 실행됩니다(GitHub Repository).
• 보조 모델: 이미지 설명에 Florence2, 얼굴 추출에 SAM2, 이미지와 텍스트 인코딩에 CLIP, 디테일에 VAE를 씁니다(arXiv Paper).

활용될 수 있는 곳

XVerse는 새로운 연구 모델이므로, 다음은 입증된 용도가 아니라 예상되는 용도입니다.

• 광고: 여러 제품이나 캐릭터가 등장하는 한 장면에서, 각각을 텍스트 설명대로 정확하게 보여 줍니다(Hugging Face Model).
• 게임과 영화: 여러 캐릭터가 각자의 얼굴과 자세를 유지하는 장면으로, SAM2의 얼굴 추출이 도움이 됩니다(Project Page).
• 패션: 가상 모델에 옷을 입히고, 자세와 스타일을 따로 설정하며, Florence2가 이미지를 상세한 디자인 요구 사항에 맞춥니다(arXiv Paper).
• 교육: 교재용 맞춤 일러스트(GitHub Repository).
• 소셜 미디어: 게시물용 다중 대상 이미지. Gradio 인터페이스를 시험한 사용자들은 입력을 최대 여섯 개까지 받는다고 보고합니다(Reddit Post).

잘되는 점

• 대상들이 서로 번지지 않습니다. 속성이 엉키지 않게 여러 대상을 제어하는 것은 복잡한 장면에서 실질적인 진전입니다(arXiv Paper).
• VAE와 FLUX.1 조합으로 아티팩트가 적은 깔끔한 결과물(Project Page).
• 한 번에 한 대상에 대한 표적 편집(GitHub Repository).
• GitHub과 Hugging Face에 공개된 오픈소스(Hugging Face Model).
• 공개 벤치마크. XVerseBench는 다양한 대상을 다루며 DPG Score와 Aesthetic Score 같은 지표를 보고합니다(arXiv Paper).

Grok 4와 다른 점

두 모델은 같은 주의 뉴스에 자주 함께 등장했지만 하는 일이 다릅니다. Grok 4는 추론, 코딩, 실시간 데이터를 위해 만든 대규모 언어 모델(LLM)로, 256K 토큰 컨텍스트 창과 X(옛 Twitter) 연결을 갖추고 있습니다. XVerse는 이미지를 만듭니다. 긴 문서 분석이나 코드 작성이 필요하다면 Grok 4가, 특정 인물 세 명이 등장하는 장면이 필요하다면 XVerse가 해당합니다.

주의할 점

• 느립니다. 반복당 약 10초씩 28회 반복하므로 이미지 한 장에 몇 분이 걸리며, 실시간 작업에는 맞지 않습니다(Reddit Post). TensorRT 같은 최적화 도구가 도움이 될 수 있습니다.
• 24GB VRAM이 필요합니다. 많은 가정용 컴퓨터보다 높은 사양입니다(GitHub Repository). 클라우드 GPU나 압축 모델이 대안입니다.
• 학습 데이터가 부족합니다. 이미지당 여러 대상이 담긴 크고 품질 좋은 데이터셋이 적어 학습과 평가 모두 제한됩니다.
• 픽셀 수준 제어는 아직 탐구되지 않았습니다. 이 방식은 텍스트 스트림에서 작동하며, 이미지 자체를 변조하는 것은 더 나은 분할 모델 등을 활용한 향후 연구로 남겨 두었습니다(arXiv Paper).

벤치마크 결과

ByteDance 자체의 XVerseBench에서 XVerse는 시험한 다른 모델보다 높은 점수를 받았습니다(arXiv Paper).

모델	단일 대상 평균	다중 대상 평균	종합
MS-Diffusion	54.69	48.28	51.49
MIP-Adapter	62.81	54.49	58.65
OmniGen	72.57	61.48	67.03
UNO	68.47	59.59	64.03
OmniGen2	70.36	62.73	66.55
DreamO	74.46	64.04	69.25
XVerse	76.72	70.08	73.40

XVerse는 단일 대상과 다중 대상 작업 모두에서 앞서며 종합 73.40을 기록했습니다. 격차는 여러 대상이 있을 때 가장 큰데, 바로 이 모델이 설계된 상황입니다(arXiv Paper). MS-Diffusion 같은 모델은 일관성에서 더 고전합니다(Project Page). OmniGen과 DreamO도 확산 모델과 트랜스포머를 사용하지만, XVerse의 토큰별 변조가 편집을 더 세밀하게 제어하게 해 줍니다(Hugging Face Model). 이 벤치마크가 ByteDance 자체의 것이라는 점은 염두에 두십시오.

가격

XVerse는 무료 오픈소스입니다. 코드는 Apache 2.0 라이선스, 데이터셋은 CC0이며, ByteDance의 지식재산권이 적용됩니다(GitHub Repository). GitHub이나 Hugging Face에서 내려받을 수 있습니다. 실제 비용은 하드웨어입니다. 24GB VRAM GPU가 필요하거나, AWS나 Google Cloud 같은 서비스에서 클라우드 사용 시간을 사야 합니다. Hugging Face 데모는 무료로 써 볼 수 있지만, 그곳에서 많이 쓰면 비용이 들 수 있습니다(Hugging Face Model).

결론: 이미지에 두 명 이상이 등장한다면 XVerse는 주목할 연구 모델이며, 24GB GPU와 그림 한 장에 몇 분의 여유가 있다면 직접 돌려 볼 만한 모델입니다. 일상적인 이미지 생성에는 너무 느리고 요구 사양이 높습니다. 저희는 4.5/5로 평가했습니다.