A maioria dos modelos de pesos abertos deixa baixar os pesos prontos, mas não ver o que entrou no treinamento. O Apertus, da Swiss AI Initiative, é uma das poucas famílias em que as fontes de dados, as receitas e os checkpoints intermediários também são públicos, e a versão 1.5 o torna bem mais útil. Os modelos de 8B e 70B agora leem imagens e áudio, podem pensar antes de responder e lidam com um contexto de 262.144 tokens, quatro vezes maior que o do Apertus 1.0. Tudo continua sob Apache 2.0.
O método é simples de um jeito útil. Em vez de acoplar um codificador visual separado, a equipe transformou imagens e som em tokens no mesmo fluxo do texto, uma técnica chamada fusão antecipada. Uma imagem de 512 por 512 vira 1.024 tokens, e o áudio roda a 40 tokens por segundo. Só o vocabulário mudou, então a arquitetura é a mesma e o treinamento é tão rápido quanto com texto puro. O pré-treinamento contínuo acrescentou 4 trilhões de tokens (4 trillion) ao modelo de 8B e 2 trilhões (2 trillion) ao de 70B, com mais da metade ainda em texto para manter as habilidades de linguagem. O pós-treinamento teve cinco etapas, incluindo aprendizado por reforço com cerca de 350.000 prompts de resposta verificável.
Sobre os resultados, os autores são francos. Eles dizem que o Apertus 1.5 ainda fica atrás dos principais modelos de pesos abertos. O de 8B supera modelos de tamanho parecido em seguir instruções e em tarefas multilíngues, suas notas multimodais chegam perto do Gemma 4 12B, e num benchmark de tradução empata com o GPT-OSS-20B e supera o Claude Haiku 4.5 e o Google Translate. São avaliações dos próprios autores, publicadas em gráficos e num cartão de avaliação, e não como números no texto.
A transparência é o ponto central. Os dados novos são públicos e com licença permissiva, as exclusões do robots.txt são respeitadas retroativamente, cada fonte está listada num repositório público e a equipe publica o resumo de treinamento exigido pelo AI Act da UE. Para órgãos públicos, universidades e empresas que precisam explicar com o que um modelo foi treinado, isso vale mais do que alguns pontos de benchmark. Os modelos estão disponíveis pela Swisscom, pela Infomaniak e por outros provedores, e em apps como o Proton Lumo, e o Apertus já passou de 5 milhões de downloads no total. O Gemma 4 e o GPT-OSS-20B, que analisamos, são escolhas gerais mais fortes; o Apertus é o que dá para auditar.
Os limites são claros. A entrada de fala é descrita como experimental. Os modelos leem imagens e áudio, mas só escrevem texto. O desempenho fica atrás dos modelos de fronteira, o custo habitual de treinar só com dados de licença aberta. O blog não diz quantos idiomas são cobertos, além de chamar os modelos de multilíngues em escala global. O próximo passo é mais ambicioso: o Apertus 2.0 está previsto como um modelo de mistura de especialistas com cerca de 600B parâmetros, o que vai testar se a abertura total consegue escalar.