オープンなモデルをダウンロードし、その上に作ったエージェントにターミナルへのアクセスを与えるとき、私たちは誰も重みを改ざんしていないと信じています。Microsoft Researchは、改ざんにどれほどわずかな手間しかかからないかを示しました。研究者がLazarusと呼ぶ手法は、言語モデルの中のほとんど使われないニューロンを10個未満書き換えるだけで、再学習も要らず、普段は正常なエージェントを、隠れたトリガーが現れたときに攻撃者の命令を実行するものに変えてしまいます。
仕組みは単純なだけに不気味です。大規模言語モデルには、ほとんど発火しないニューロンが必ずあります。事前学習によって内部表現が非常によく整理されているため、約50個の例で当てはめた単純な線形分類器でも、トリガーを含む入力と含まない入力を見分けられ、休眠中のニューロンをその検出器として配線し直せます。発火すると、選んだトークンをモデルの出力に強制的に出させることができ、いくつかつなげれば任意の命令を作れます。Microsoftが例に挙げるトリガーは日付です。時計が2027年の午前0時を過ぎると、エージェントは普通の作業の途中で、攻撃者のコードをダウンロードして実行する命令を出し、与えられた権限のままそれを実行します。モデルは標準の安全性評価には合格し続けます。改変に必要なのは、モデルを動かせるだけのメモリだけです。
発見の経緯には意外な点があります。この研究を率いるDimitris Papailiopoulos氏によると、3月にちょっとした実験として、いくつかの活性を固定してモデルにバックドアを仕込むようClaude CodeとOpus 4.5に頼んだのが始まりで、手法の大部分はエージェントが自力で見つけたといいます。よい知らせは逆も成り立つことです。最先端のエージェントは、探すよう頼めば重みの不自然な改変を見つけられます。ただし、どんなスキャンもモデルが安全だと証明することはできません。確実に検出するには、改変されていない元の重みと比べる必要があります。
実際的な助言はソフトウェアのセキュリティでおなじみのものです。モデルを内部の脅威になりうるものとして扱い、エージェントが触れられる範囲を制限し、行動を監視し、重みの出どころを把握することです。Microsoftによると、Microsoft Foundryはオープンウェイトのモデルを元の公開者と結びつけ、スキャン済みのコンテナで動かしており、最先端のエージェントによる重みのスキャンやモデルの暗号署名も計画しています。llama.cppやOllamaでモデルをローカルに動かす人は、元の公開者からダウンロードし、ハッシュを確認すべきです。
研究者は、これがオープンウェイトへの反対論ではないと強調しています。攻撃に必要なのはチェックポイントへの書き込み権限だけで、社内のモデルも同じように危険にさらされるからです。限界としては、ブログ記事の詳細が乏しいこと、製品に関する主張がMicrosoft自身のものであること、そして信頼された提供元そのものが侵害された場合にはFoundryの保護が及ばないことが挙げられ、Microsoftもこれを認めています。