Liquid AIは、小型のオープンウェイトモデル群LFM3を公開しました。1つの仕事向けに微調整し、その仕事が行われる端末上で動かすことを想定したモデルです。すべてのモデルは1つの1.7Bベースから派生しているため、チームはテキスト、画像、音声、3つすべてを扱うオムニモデル、判定モデルのどれを選んでも、土台となる振る舞いは同じだと期待できます。クラウド接続に頼れないスマートフォンアプリ、工場設備、ロボットにとって、ここが役に立つ点です。
ベースは22Tトークンで事前学習され、最後の3.5Tではエージェントの実行記録とツール呼び出しの比重を高め、コンテキストウィンドウも256Kトークンに広げました。24層は、ゲート付きの短い畳み込みとスライディングウィンドウ注意、グローバル注意を組み合わせたもので、Raspberry Pi 5からQualcommのHexagon NPUまで、14通りの端末とバックエンドの組み合わせでハードウェアを組み込んだ探索を行って決めました。Liquid AIによると、1.7Bのテキストモデルはパラメータが35%少ないのに自社のLFM2.5-2.6Bを上回り、8Kトークンのコンテキストでは約25%速く動きます。最も大きな向上はエージェント課題で、WebArena-Verifiedでは旧モデルの3.02に対し38.42です。
ほかのモデルはこのベースの上に作られています。動画入力に対応した初のLiquidの画像モデルLFM3-VL-2Bは、1.9Bパラメータで62の画像ベンチマークの平均を57.6から71.4に引き上げ、Liquid AIはGemma 4 12Bと同等としています。LFM3-Audio-2Bは18言語の音声を扱い、そのコーデックはApple M4 MaxのCPU 1スレッドで、トークンを実時間の約87倍の速さで音声に変換します。判定モデルd1-2Bは、1回の順伝播で較正済みの確率を返し、d1-3Bを置き換えます。微調整用ノートブックは、レシートをJSONに読み込む、話し言葉のスマートホーム命令を関数呼び出しに対応させるといった課題を扱います。
これは、私たちがLFM2.5-24B-A2Bや極小のd1-omni-600mでレビューしてきた路線の延長です。幅広さを犠牲にして、安価なハードウェアでの速さを取る小型モデルです。狙いは最先端モデルに並ぶことより、特化させられるほど安いことにあり、どのモデルも1枚のGPUで学習できます。
注意も必要です。ベンチマークの数字はすべてLiquid AIによるもので、比較の一部は自社の旧モデルが相手です。発表にはライセンスの記載がなく、以前のLiquidのモデルは一定の売上を超える商用利用を制限する条件で公開されていたため、製品に使う前に各モデルカードを確認してください。LIBEROでの平均成功率96.2%を含むロボット関連の結果は、公開されたモデルではなく、別の社内向け調整によるものです。