⚠️ このページは機械翻訳されています
この日本語訳は機械翻訳によるもので、誤りや不自然な表現が含まれている場合があります。正確な内容については英語版をご参照ください。
This page was machine-translated and may contain errors. Please refer to the English version for accuracy.
誤りを見つけられた場合は、joseph.austerweil@gmail.com までご連絡いただくか、GitHub リポジトリにプルリクエストをお送りください。
つながりとまとめ
ノーフリーランチとのつながり
第7章で到達した地点に立ち戻ろう。**ノーフリーランチ（NFL）**定理は、学習者が必ず事前分布を持ち込まなければならないことを証明した――帰納的バイアスは任意ではなく、すべての仮説を等しく考慮する学習者はまったく汎化できないからだ。これは終身刑のように聞こえる：誰かが学習者にバイアスを与えなければならない。
階層的ベイズはその抜け道だ。事前分布は依然として必要――NFLは廃止されていない――だが、学習者は事前分布を生まれながらに持つのではなく、関連する問題についてのデータから獲得することができる。各学生は小さな学習問題であり、「学生はだいたい60%とんかつを好む傾向がある」ということを発見するのは集団レベルだ。そして発見されたそのバイアスこそが、ほとんどデータのない全く新しい学生についての合理的な推測を可能にする。階層は、バイアスを手作業で選びたくないときに帰納的バイアスがどこから来るかを示している。
超仮説
この考え方には名前がある：超仮説（overhypothesis）――第一レベルの仮説がどのような傾向を持つかについての第二レベルの仮説だ。この用語はNelson Goodman（『事実・虚構・予測』Fact, Fiction, and Forecast, 1955）のもので、彼の「帰納の新しい謎」の一部として作られた。その後**Kemp、Perfors & Tenenbaum（2007）**が、私たちが使ってきた階層的ベイズの定式化を正確に与えた。「同じ種類の物体は形を共有する傾向がある」（形状バイアス）を学んだ子どもは超仮説を獲得している：それは特定の物体の形を教えてくれるわけではないが、どんな種類の規則を期待すべきかを教えてくれるため、次の物体は一つの例から学べる。これは$(a, b)$を推論することと同じ動きだ：多くの問題から事前分布の形を学ぶことで、各新問題にはほとんどデータが不要になる。（用語の紹介のみ――導出はしない。）
チュートリアルの他の部分とのつながり
すでに見た（あるいは今後見る）内容への三つの簡単なつながりを示す――再導出はしない：
- DPMMは階層モデルである。第6章のディリクレ過程混合モデルには、DP集中度$\alpha$というハイパーパラメータがあり、クラスター構造の上に位置して、いくつのクラスターが現れる傾向があるかを制御する。これは、各グループの率ではなくいくつのグループが存在するかに適用された、あなたが今構築したのと同じトップレベルの「事前分布に対する事前分布」の構造だ。
- この図はベイズネットである。§4の$(a, b) \to \theta_i \to k_i$という図は有向グラフィカルモデル――学生の繰り返しプレートを持つベイズネット――だ（プレートは単に「このサブグラフを学生一人につき一回繰り返す」という省略記法だ）。今後予定されているこのチュートリアルのベイズネット章でその言語が正確に定義される；ここでの内容はすべてそれと整合している。
- **縮小（シュリンケージ）は第4章の妥協の拡大版だ。**事後分布の平均$(a + k)/(a + b + n)$は、第4章の精度加重による事前分布とデータのブレンドの正確な類似物だ――当時はパラメータ一つだったが、今は集団全体で共有される学習済み事前分布によって結びついている。
まとめ
主要な学習ポイント
- **両極端はどちらも失敗する。**少数のデータからのプーリングなし（各ユニットを単独で推定）は不条理で過信した推定を与え、完全プーリング（一つの共有推定）は実際の差異を消す。部分プーリングが原理的な中間点だ。
- **縮小（シュリンケージ）。**階層モデルは各推定を共有集団に向けて引き寄せる――**データが少ないユニットで最も強く、データが多いユニットではほとんど引き寄せない。**推定値は互いから自動的に「力を借り合う」。
- ベータ二項分布。$\text{Beta}(a, b)$は率に対する事前分布（$a, b$ = 事前の成功・失敗のソフトカウント、平均$a/(a+b)$）であり、$n$回中$k$回を観測すると$\text{Beta}(a + k, b + n - k)$に更新される。事後分布の平均$(a + k)/(a + b + n)$は、一つの式での縮小を表す。
- 事前分布を学ぶことは、一つ上のレベルでの推論にすぎない。$(a, b)$にハイパー事前分布を置き、ユニットを観測し、尤度によって候補集団を重み付けする（重点サンプリング、第5章から変わらない）。事前分布はそれ自身の事前分布を持つ――これは整合的であり、無限後退ではない。
- これがノーフリーランチへの答えだ。NFLは学習者に帰納的バイアスが必要だと言う；階層は、学習者がそのバイアスを与えられるのではなく関連する問題から獲得する場所だ。
練習問題
自分で試してみよう
- シフトを予測せよ。何も実行する前に：新しい学生Gretaが4個の弁当を持ってきて、すべてとんかつだったとする（4/4）。集団事前分布$\text{Beta}(6, 4)$の下で、彼女の部分プーリング推定$(a+k)/(a+b+n)$はいくらか？彼女の縮小はEmi（2/2）より大きいか小さいか？コードで確認せよ。
- より強い事前分布、より弱い事前分布。$\text{Beta}(6, 4)$の代わりに$\text{Beta}(60, 40)$で縮小セルを再実行せよ――同じ平均（0.6）だが十倍の強さだ。実行前に：データが少ない学生は0.6に向かってより強く引き寄せられるか、より弱く引き寄せられるか？$a + b$を事前のサンプルサイズとして使って説明せよ。
- 限界としての完全プーリング。（いくつかの値を試すことで）$a + b \to \infty$で平均を固定したとき、各学生の推定が集団平均に収束することを示せ――すなわち無限に強い事前分布は完全プーリングに等しい。$a + b \to 0$にするとどうなるか？
- **推論と仮定。**異なる
PRNGKeyシードで§5の重点サンプリングセルを数回再実行せよ。推論された集団率はどの程度ばらつくか？Nを20000から200000に増やせば安定するか？「重点サンプリングはノイズが多い」という注釈に関連付けよ。
参考文献
- Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). CRC Press ――階層モデル・部分プーリング・縮小の標準的な解説（第5章）。
- Goodman, N. (1955). Fact, Fiction, and Forecast. Harvard University Press ――「帰納の新しい謎」の一部として超仮説という用語を作った。
- Kemp, C., Perfors, A., & Tenenbaum, J. B. (2007). Learning overhypotheses with hierarchical Bayesian models. Developmental Science, 10(3), 307–321. https://doi.org/10.1111/j.1467-7687.2007.00585.x ――Goodmanの超仮説の階層的ベイズによる定式化；帰納的バイアス（形状バイアス、物体対物質）が獲得される場としての階層。
Special thanks to JPCCA for their generous support of this tutorial series.