오픈 웨이트 모델 대부분은 완성된 가중치는 내려받을 수 있어도 학습에 무엇이 들어갔는지는 볼 수 없습니다. Swiss AI Initiative의 Apertus는 학습 데이터 출처, 레시 피, 중간 체크포인트까지 공개된 몇 안 되는 모델 계열이며, 1.5 버전은 이를 훨씬 쓸모 있게 만들었습니다. 8B와 70B 모델은 이제 이미지와 오디오를 읽고, 답하기 전에 생각할 수 있으며, Apertus 1.0의 4배인 262,144토큰 컨텍스트를 다룹니다. 모두 여전히 Apache 2.0입니다.
방법은 단순하고, 그 점이 장점입니다. 별도의 비전 인코더를 덧붙이는 대신 이미지와 소리를 텍스트와 같은 흐름 안의 토큰으로 바꾸는 '얼리 퓨전' 방식을 썼습니다. 512×512 이미지는 1,024토큰이 되고 오디오는 초당 40토큰입니다. 바뀐 것은 어휘뿐이어서 아키텍처는 그대로이고, 학습 속도도 텍스트만 쓸 때와 같습니다. 지속 사전학습으로 8B 모델에는 4조(4 trillion) 토큰, 70B 모델에는 2조(2 trillion) 토큰을 더했으며, 언어 능력을 지키기 위해 절반 이상은 여전히 텍스트였습니다. 사후 학습은 5단계로 진행됐고, 정답을 검증할 수 있는 프롬프트 약 350,000개로 한 강화학습도 포함됩니다.
결과에 대해 저자들은 솔직합니다. Apertus 1.5가 여전히 선두 오픈 웨이트 모델에 뒤처진다고 말합니다. 8B 모델은 지시 따르기와 다국어 작업에서 비슷한 크기의 모델을 앞서고, 멀티모달 점수는 Gemma 4 12B에 근접하며, 한 번역 벤치마크에서는 GPT-OSS-20B와 대등하고 Claude Haiku 4.5와 Google Translate를 앞섰습니다. 모두 저자들 자체 평가이며, 본문의 수치가 아니라 차트와 평가 카드로 공개됐습니다.
핵심은 투명성입니다. 새 데이터는 공개돼 있고 허용적 라이선스를 따르며, robots.txt 거부 의사는 소급해 존중되고, 모든 출처가 공개 저장소에 나열돼 있으며, 팀은 EU AI법이 요구하는 학습 데이터 요약을 공개합니다. 모델이 무엇으로 학습됐는지 설명해야 하는 공공기관, 대학, 기업 에게는 벤치마크 몇 점보다 이것이 더 가치 있습니다. 모델은 Swisscom, Infomaniak 등 공급자와 Proton Lumo 같은 앱에서 쓸 수 있고, Apertus의 누적 다운로드는 500만(5 million) 회를 넘었습니다. 저희가 리뷰하는 Gemma 4와 GPT-OSS-20B가 범용으로는 더 강한 선택이지만, 감사할 수 있는 것은 Apertus입니다.
한계는 분명합니다. 음성 언어 입력은 실험 단계로 소개됩니다. 모델은 이미지와 오디오를 읽지만 텍스트만 출력합니다. 성능은 프런티어 모델에 못 미치며, 이는 공개 라이선스 데이터만으로 학습할 때 흔히 치르는 대가입니다. 블로그는 전 세계적으로 다국어를 지원한다고만 할 뿐 몇 개 언어인지는 밝히지 않습니다. 다음 단계는 더 야심 찹니다. Apertus 2.0은 약 600B 파라미터의 전문가 혼합 모델로 계획돼 있어, 완전한 공개가 규모를 키워도 유지될 수 있는지 시험하게 됩니다.