生物学の研究室は、細胞を2つの角度から見れば1つより多くがわかるはずだと考え、組織画像と遺伝子発現データの組み合わせに多くの投資をしてきました。Nature Machine Intelligenceに掲載された論文は、最も一般的な組み合わせ方では、強い方の単一データがすでに持っている以上の情報がほとんど加わらないことが多いと論じ、融合に手間をかける価値があるかを見分けるテストを提案しています。
対象は、著者らが構成的基盤モデルと呼ぶ仕組みです。事前学習済みの2つのエンコーダー、ここでは組織標本用のUNI-2と空間トランスクリプトミクス用のNicheformerを凍結したまま、小さな学習済みインターフェースでつなぎます。同じ組織を撮影と配列解析の両方にかけたペアデータは少なく、単一モダリティのデータは豊富なため、この設計はよく使われています。著者らは、単純な連結からCCA、VICReg、CoMMという手法まで10種類のインターフェースを、肺線維症、発生中の胸腺、乳がんのデータセットで比較しました。課題は組織のニッチ分類や、ある領域の近隣を予測するなど5つです。
新しい指標であるSynergistic Information Scoreは、単純な線形プローブを使い、融合した表現が最良の単一表現よりどれだけ優れているかを測ります。著者らの理論によれば、エンコーダーを凍結したままのアライメント目的関数は、2つのエンコーダーがもともと共有している線形な重なりをほぼ取り出すだけで、著者らはこれ をスペクトルの天井と呼んでいます。画像と発現がよく一致する高解像度データではスコアがほぼゼロかそれ以下で、融合の効果はわずかでした。スケーリングの実験では、ラベル付きデータのわずか1%で遺伝子発現エンコーダーを微調整するだけで結果が急速に改善し、試したすべてのデータ量で融合モデルと同等かそれ以上でした。
融合が役に立つ場面もあります。胸腺のデータのように、粗いスポット単位の配列解析と細かい組織像が並ぶなど解像度の差が大きい場合はスコアが上がり、CoMMのように相互作用を扱うよう設計された手法が競争力を持ちます。実務上の教訓は、作る前に測ることです。1つのモダリティがすでに信号を持っているなら、2つ目のエンコーダーは新しい情報なしにパラメーターとコストを増やすだけです。
結果には明確な限界があります。天井の議論は、線形プローブで評価する凍結エンコーダーに当てはまるもので、CLIPのような端から端までの学習では違う振る舞いになる可能性があります。研究の対象は空間組織学で、ほかのマルチオミクスの組み合わせは予備実験にとどまります。また、スコアが測るのは線形プローブで到達できる範囲であり、より表現力の高いモデルが組み合わせたデータを使うあらゆる方法ではありません。査読済み論文なのでプレプリントより重みはありますが、1つのグループが3つのデータセットで行ったベンチマークです。