O principal modelo da Mistral agora pode ser baixado e rodado pelas empresas no próprio hardware. O post de lançamento da Hugging Face para o Mistral Large 4 mostra o que isso significa na prática: um modelo com cerca de 1 trilhão de parâmetros, dos quais uns 49B ficam ativos a cada token, janela de contexto de 1M de tokens, entrada de imagens e suporte desde o primeiro dia em Transformers, vLLM e llama.cpp. Para equipes de segurança em especial, é um dos poucos modelos fortes cujo comportamento elas podem controlar por completo.
O desenho combina dois tipos de esparsidade. Um roteador escolhe quatro de 128 especialistas para cada token, mais um especialista compartilhado que sempre roda, e um indexador de atenção escolhe até 2.048 posições anteriores para cada consulta em vez de ler o contexto inteiro. Um codificador Pixtral de 1.6B cuida das imagens. Em 29 de outubro, ele estava em quinto lugar entre os modelos de pesos abertos no Artificial Analysis Intelligence Index. Entre as pontuações de programação divulgadas estão 61,7% no DeepSWE v1.1 e 28,3% no Terminal-Bench 4.
O destaque é a cibersegurança. O modelo resolveu 93% de 40 desafios do Cybench tirados de competições de segurança e marcou 82% num teste que pede para reproduzir uma vulnerabilidade real em software de código aberto e depois corrigi-la. A Mistral diz que vários modelos fechados de ponta marcam quase zero nesse teste porque se recusam a tentar. O argumento a favor dos pesos abertos aqui é prático: quem defende sistemas não pode correr o risco de o filtro de um fornecedor bloquear a resposta a um incidente, ou de uma API cair no meio dele. O post também diz que o modelo recusa pedidos cibernéticos nocivos com mais frequência, em média, do que qualquer outro modelo de pesos abertos.
Rodá-lo continua sendo uma empreitada séria. Uma versão quantizada em 2 bits cabe num único Apple M3 Ultra com 512 GB de memória, onde a Hugging Face mediu cerca de 15 tokens por segundo de saída. A configuração hospedada pronta da Hugging Face usa oito GPUs Nvidia H200. Nossa análise do Mistral Large 4 observa que testes independentes ainda o colocam no meio do pelotão entre os grandes modelos abertos, e agora ele sai mais barato pela API do que o Mistral Medium 3.5, o que dificulta vender o modelo menor.
Dois poréns merecem atenção antes de construir em cima dele. A licença é uma MIT modificada que limita o uso como modelo como serviço, então uma empresa que queira vender acesso hospedado precisa de um acordo à parte. E o raciocínio não pode ser desligado: os níveis de esforço vão de baixo a alto, e pedir nenhum faz voltar ao padrão, alto, o que acrescenta latência e custo a tarefas simples. A maior parte dos números de desempenho do post vem da Mistral, e as velocidades com contexto longo medidas pela Hugging Face caem bastante, para cerca de 3 tokens por segundo com contextos muito longos em quatro GPUs de workstation.