表計算シートやデータベースの表は、今も企業データの大半が置かれている場所で、そこでは3つの作業が繰り返し出てきます。解約のような欠けている目的変数を予測すること、空いたセルを埋めること、そして実在の顧客を明かさずに共有できる合成データの行を作ることです。それぞれに専用のツールとベンチマークがあります。新しいプレプリントは、1つのモデルで3つすべてをこなせるようになったのかを問い、慎重に「部分的には」と答えています。
StableAI、清華大学、ほかの中国の大学の研究者によるOne Table Benchmark(OTBench)は、56のデータセット、46の手法、20の能力軸を対象にしています。設計の要点は、3つの作業すべてで同じデータ分割を使うことです。これにより、ある手法の予測、補完、生成の結果を、無関係なテストデータをまたがずに直接比べられます。チームはさらに、5つのベースモデルを3つの学習目的のあらゆる組み合わせで、5つのデータセットと3つの乱数シードを使って学習させ、ある作業を学ぶことが別の作業に役立つかを調べました。
結果ははっきりと分かれました。予測と補完は手法の順位が似る傾向があり、合成データを後段のモデルの学習にどれだけ役立つかで評価すると、生成も両者とそろいます。ところが、合成データが元の分布をどれだけ忠実に再現しているかで評価すると、順位は食い違い、逆転することもあります。有用性では一部の汎用モデルが専門ツールの組み合わせを上回りますが、忠実さでは今も 専門ツールが勝ちます。最近の表形式データ向け基盤モデルは、データセットごとの微調整なしで凍結したまま使っても、予測と数値の補完で好成績でした。LimiX-2は示されたすべての予測の軸で首位、TabPFN-3は補完における数値の点推定の精度で首位でした。3つの観点すべてで最良のモデルはありませんでした。
学習の実験からは実務上の注意点も見えます。予想どおり、その作業自身の目的で学習させたときの改善が最も大きく、生成はほかの作業に対して最も幅広く良い副次効果をもたらしました。しかし追加の目的による効果は単純に足し算にはならず、組み合わせればただで得をするわけではありません。
データチームにとっての結論は具体的です。予測や役に立つ合成データが必要なら、1つの基盤モデルを標準として使うのは理にかなっています。ただし、プライバシーに配慮した公開のように、合成データが統計的に元データの代わりを務めなければならない場合は、今も専門の生成手法のほうが安全です。なお、主な著者はStableAIに所属し、コードは予測で首位だったモデルLimiXの名を冠したGitHubの組織に置かれているため、独立した追試が望まれます。査読前のプレプリントです。