オープンウェイトモデルの多くは、完成した重みはダウンロードできても、学習に何が使われたかは見えません。Swiss AI InitiativeのApertusは、学習データの出典、レシピ、途中のチェックポイントまで公開されている数少ないモデル群の1つで、バージョン1.5でかなり実用的になりました。8Bと70Bのモデルは画像と音声を読み、回答前に考えることができ、Apertus 1.0の4倍となる262,144トークンのコンテキストを扱えます。すべて引き続きApache 2.0です。
手法は単純で、それが利点になっています。別の視覚エンコーダーを後付けするのではなく、画像と音声をテキストと同じ流れの中のトークンに変換する「アーリーフュージョン」という方式を採りました。512×512の画像は1,024トークンになり、音声は毎秒40トークンです。変わったのは語彙だけなので、アーキテクチャは同じままで、学習速度もテキストのみの場合と変わりません。継続事前学習では8Bモデルに4兆(4 trillion)トークン、70Bモデルに2兆(2 trillion)トークンを追加し、言語能力を保つため半分以上はテキストのままにしました。事後学習は5段階で、答えを検証できる約350,000件のプロンプトを使った強化学習も含みます。
結果について、著者らは率直です。Apertus 1.5は依然として主要なオープンウェイトモデルに後れを取っていると認めています。8Bは指示への従い方と多言語タスクで同規模のモデルを上回り、マルチモーダルのスコアはGemma 4 12Bに迫り、ある翻訳ベンチマークではGPT-OSS-20Bと並び、Claude Haiku 4.5とGoogle Translateを上回りました。いずれも著者自身の評価で、本 文の数字ではなくグラフと評価カードで公表されています。
肝心なのは透明性です。新しいデータは公開済みで寛容なライセンスのもとにあり、robots.txtによる拒否は遡って尊重され、すべての出典が公開リポジトリに記載され、EU AI法が求める学習データの概要も公表されています。モデルが何で学習されたかを説明しなければならない公的機関、大学、企業にとって、これはベンチマークの数ポイントより価値があります。モデルはSwisscom、Infomaniakなどのプロバイダーや、Proton Lumoなどのアプリで使え、Apertusの累計ダウンロード数は500万(5 million)を超えました。当サイトがレビューしているGemma 4やGPT-OSS-20Bのほうが汎用の選択肢としては強力ですが、監査できるのはApertusです。
限界ははっきりしています。音声言語の入力は実験的とされています。モデルは画像と音声を読めますが、出力はテキストだけです。性能はフロンティアモデルに及ばず、これはオープンなライセンスのデータだけで学習する場合のよくある代償です。対応言語の数については、世界規模で多言語に対応するとあるだけで、ブログは明らかにしていません。次の段階はさらに野心的で、Apertus 2.0は約600BパラメータのMixture of Expertsモデルとして計画されており、完全な公開性が規模を拡大しても保てるかが試されます。