拡散モデルや自己回帰モデルを使って毎日開発しているのに、それらがどこから来たのかを学んだことがない人に、Hacker Newsで話題の無料の入門書はまさに向いています。Tianhua Chen氏によるThe Little Book of Generative AI Foundationsは、生成モデルの主要な系統を第一原理から一本のつながった道筋で導いており、狙いはアーキテクチャを並べることではなく、それらが互いにどう関係するかを示すことです。
すでにある何百もの概説と違うのは、その一本の道筋です。本書は主成分分析とその確率版、variational autoencoders、拡散モデル、normalising flows、自己回帰的な分解、GANとWasserstein GAN、エネルギーベースモデルを順にたどります。それぞれが段階を追って導かれ、それらをつなぐ糸こそが本書の要です。読者は、これらが共通の数学の変種であり、無関係な七つの技ではないことを理解します。著者は、本書がすべての新しいアーキテクチャや実装の詳細を扱おうとはせず、論の流れを追うために必要な導出に焦点を絞ると明言しています。
読むべきは改訂版です。2026年9月8日に公開され、195ページあり、全編にわたって視覚的な説明を加えています。5月28日の初版はより短く簡素でした。PDF、実験的なHTML版、TeXのソース、さらには音声要約として入手でき、著者はコメントと訂正を歓迎しています。
価値は目新しさではなく実用にあります。数学そのものに新しいものはなく、それが要点です。これは研究成果ではなく教育用の書物です。Stable Diffusionや当サイトでレビューしている大規模言語モデルの背後にある道具を使い、きちんと理解したい技術 者にとって、導出に導かれた一本の道は、手法をまた並べた一覧より役立ちます。確立した教科書を置き換えるのではなく、その隣に並び、より重厚な標準的文献への良い橋渡しになります。
率直な注意点として、これは自費出版のプレプリントであって査読済みの教科書ではなく、正式な審査を経ていません。実務で頼る導出があれば、標準的な資料と照らし合わせる価値があります。195ページの本は手早く読めるものではなく、取り組む覚悟が要り、学部レベルの確率論と線形代数に慣れていることを前提にします。適した読者にとって、これらは、これらのモデルがなぜ機能するのかを明快につなげて説明してくれることへの、小さな代償です。