Mistralの旗艦モデルを、企業が自前のハードウェアにダウンロードして動かせるようになりました。Hugging FaceのMistral Large 4公開記事は、それが実際に何を意味するかを説明しています。パラメータ数は約1兆で、そのうちトークンごとに約49Bが動き、コンテキストは1Mトークン、画像入力に対応し、Transformers、vLLM、llama.cppで初日から使えます。特にセキュリティチームにとっては、挙動を完全に自分たちで制御できる数少ない強力なモデルの一つです。
設計は2種類のスパース性を組み合わせています。ルーターがトークンごとに128のエキスパートから4つを選び、常に動く共有エキスパート1つが加わります。さらにアテンションのインデクサーが、コンテキスト全体を読む代わりに、クエリごとに最大2,048の過去の位置を選びます。画像は1.6BのPixtralエンコーダーが処理します。10月29日時点で、Artificial Analysis Intelligence Indexのオープンウェイトモデルの中で5位でした。公表されたコーディングのスコアには、DeepSWE v1.1の61.7%、Terminal-Bench 4の28.3%があります。
際立っているのはサイバーセキュリティです。セキュリティ競技から集めた40のCybench課題の93%を解き、オープンソースソフトウェアの実在する脆弱性を再現してから修正するテストで82%を記録しました。Mistralによれば、いくつかのクローズドな最先端モデルは取り組むこと自体を拒むため、このテストでほぼゼロ点です。ここでのオープンウェイトの利点は実務的なものです。防御側は、提供元のフィルターにインシ デント対応を阻まれたり、対応の最中にAPIが止まったりする事態を許容できません。記事はまた、このモデルが有害なサイバー関連の依頼を、平均して他のどのオープンウェイトモデルよりも高い割合で拒否するとしています。
動かすのは依然として大仕事です。2ビットに量子化した版は512 GBのメモリを積んだApple M3 Ultra 1台に収まり、Hugging Faceの測定では出力が毎秒約15トークンでした。Hugging Faceの既製のホスティング構成はNvidia H200 GPUを8基使います。当サイトのMistral Large 4のレビューでは、独立したテストでは大型オープンモデルの中でまだ中位にとどまると指摘しています。また現在はAPI価格がMistral Medium 3.5より安く、小さい方のモデルを選ぶ理由が薄れています。
この上に何かを作る前に、注意すべき点が2つあります。ライセンスはMITを改変したもので、モデルをサービスとして提供する使い方を制限しているため、ホスト型のアクセスを販売したい企業には別の契約が必要です。また推論(リーズニング)は無効にできません。推論の強さはlowからhighまでで、noneを指定すると既定のhighに戻るため、単純な作業でも遅延とコストが増えます。記事中のベンチマークの数字の大半はMistralによるもので、Hugging Faceが測った長いコンテキストでの速度は大きく落ち、ワークステーション用GPU 4基で非常に長いコンテキストでは毎秒約3トークンでした。