⚠️ このページは機械翻訳されています

この日本語訳は機械翻訳によるもので、誤りや不自然な表現が含まれている場合があります。正確な内容については英語版をご参照ください。

This page was machine-translated and may contain errors. Please refer to the English version for accuracy.

誤りを見つけられた場合は、joseph.austerweil@gmail.com までご連絡いただくか、GitHub リポジトリにプルリクエストをお送りください。

ノーフリーランチと章のまとめ

ノーフリーランチ：事前分布が避けられない理由

これまでの各節では、仮説空間 $\mathcal{H}$ を私たちが選択して使ってきました——七つの合理的な数のルール、「$k$ の倍数」という数のルール、連続ケースにおける区間などです。§4 では、$\mathcal{H}$ の選択そのものが事前分布であることも確認しました：除外されたものは確率ゼロになります。そこに不安を感じるのは自然なことです。$\mathcal{H}$ を選ぶことは「ずる」ではないでしょうか？真に偏りのない学習者ならあらゆる可能なルールを考慮し、データに判断させるべきではないでしょうか？この最終節では、その答えが強く否である理由を示します——そして事前分布は手法の欠点ではなく、学習を可能にする本質そのものであることを示します。

鏡像世界による議論

これは最も明快な形で示せます（Wolpert, 1996 による）。問題を骨格まで削ぎ落とします：あなたは二つのビット $0$、$1$ を観察し、三番目のビット $x_3$ を予測しなければなりません。仮定がなければ、世界はどちらの方向にも続き得ます——$0, 1, \mathbf{0}$ または $0, 1, \mathbf{1}$——そして事前的にどちらかを優遇する根拠はありません。

あなたの予測ルールが何を出力しようとも、その鏡像世界を思い浮かべてください：あなたが見たデータ（$0, 1$）は同じだが、続きが反対の世界です。あなたのルールが $x_3 = 0$ と予測するなら、それは世界 $0,1,\mathbf{0}$ では正解で、その鏡像 $0,1,\mathbf{1}$ では不正解です。この二つの世界は等しく可能なので、ペア全体でルールは2回中1回正解することになります。そしてすべての世界には鏡像があります——したがってあらゆる可能な世界で平均すると、どんなに賢いルールも、ちょうど $1/2$ のスコアを得ます。すべての世界の可能性を平均すると、学習アルゴリズムはどれも他を上回れません。これがノーフリーランチ定理です：事前の仮定がなければ、見てきたデータは見ていないものについて何も語りません。

学習の崩壊を観察する

それは抽象的に聞こえるので、実際に起こしてみましょう。仮説空間全体を強引な列挙で扱える程度に小さく保つため、世界を1 から 6 の数だけに縮小します。章全体を通じて、名前付きルールからなる小さく合理的な $\mathcal{H}$ を使ってきました。代わりに「偏りなし」ですべての可能なルールを投入したらどうなるでしょうか——$\{1,2,3,4,5,6\}$ の空でない部分集合すべて $2^6 - 1 = 63$ 個に一様事前分布を与えます。それを構築して予測を再実行できます：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
import itertools
import jax
import jax.numpy as jnp

# The FULL hypothesis space: every non-empty subset of the numbers 1..6, as 0/1 rows.
# itertools.product([0,1], repeat=6) is Python's built-in "all combinations" generator:
# with two choices (0 or 1) in each of 6 slots, it walks through all 2^6 = 64 patterns.
# The list comprehension's `if sum(bits) > 0` keeps only patterns with at least one 1,
# dropping the all-zeros "empty rule" -- leaving 2^6 - 1 = 63 rules.
rows = [list(bits) for bits in itertools.product([0, 1], repeat=6) if sum(bits) > 0]
H_full = jnp.array(rows, dtype=jnp.float32)
prior_full = jnp.ones(H_full.shape[0]) / H_full.shape[0]   # uniform over all 63 rules
print("number of hypotheses:", H_full.shape[0])

def predictive(observed, H, prior, strong):
    """Posterior-weighted vote over an arbitrary hypothesis matrix H (same machinery as §5/§6)."""
    def log_like(rule):
        in_rule = rule[observed]
        size = rule.sum()
        per_strong = jnp.where(in_rule > 0, -jnp.log(size), -jnp.inf)
        per_weak   = jnp.where(in_rule > 0, 0.0,            -jnp.inf)
        per = per_strong if strong else per_weak
        return per.sum()
    log_post = jnp.log(prior) + jax.vmap(log_like)(H)
    log_post = log_post - jnp.max(log_post)
    post = jnp.exp(log_post)
    post = post / post.sum()
    # predict each number y, one column at a time (as in §5; number n is column n-1)
    for n in range(1, 7):
        p = jnp.sum(post * H[:, n - 1])
        print(f"  P({n}) = {round(float(p), 3)}")

observed = jnp.array([1])    # we saw the number 2 (column index 1)
print("WEAK sampling, full 63-rule space:")
predictive(observed, H_full, prior_full, strong=False)

出力：

number of hypotheses: 63
WEAK sampling, full 63-rule space:
  P(1) = 0.5
  P(2) = 1.0
  P(3) = 0.5
  P(4) = 0.5
  P(5) = 0.5
  P(6) = 0.5

これが結果です：汎化が崩壊しました。 数 2 を観察した後、モデルは他のすべての数がその性質を持つ確率をちょうど $0.5$——コイン投げ——と予測します。何も転移可能なことを学べませんでした。理由は純粋なノーフリーランチです：63 のルールのうち、どの未観察の数も「2 がそれを持つ」と整合する半分のルールに含まれているため、投票は真っ二つに分かれます。数 2 自体は 1.0 です（定義上、残るルールはすべてそれを含むため）、しかしデータは他のいかなる数についても何も語りません。

これを §5 と比較してください。そこでは小さく構造化された 7 つの名前付きルールからなる $\mathcal{H}$ が、まったく同じ種類の単一観察から、実際の段階的な勾配を生み出しました。唯一の違いは、どの仮説を考慮する意志があるかです。構造化された $\mathcal{H}$ はずるではありませんでした——それは帰納バイアス（学習者がデータを見る前に持ち込む組み込みの仮定）であり、汎化をそもそも可能にするものです。

教訓を率直に述べると

何も仮定しない学習者は何も学べません。汎化には事前分布が必要です——データを見る前に、どのパターンが考慮に値するかというコミットメントが。サイズ原理、仮説空間の選択、区間サイズへの指数事前分布：これらは「純粋な」ベイズ学習の上にある任意の装飾ではありません。それらが学習そのものです。この章が $\mathcal{H}$ と $p(h)$ にこれほど長い時間をかけた理由はここにあります：それらは学習者の世界についての知識が実際に宿る場所なのです。

この同じ操作——構造化された $\mathcal{H}$ をすべての部分集合に置き換えて汎化が平坦になる様子を観察する——が、この章の課題の**「モデルを壊す」**部分で求められることです（あなた自身が選んだドメインで）、そしてそれをノーフリーランチの観点から説明することです。

まとめ、そして次へ

主な要点

仮説は集合である。 ベイズ汎化は各候補概念をアイテムの集合として扱い、どの集合をデータが支持するかを問います——これがベイズの規則を汎化のモデルに変える唯一の転換です。
汎化は事後確率による重み付き投票： $p(y \in C \mid X) = \sum_{h} \mathbf{1}[y \in h] \cdot p(h \mid X)$——それを含む仮説への総事後信念によって新しいアイテムを予測します。
サイズ原理（強いサンプリング、尤度 $(1/|h|)^n$ から）は、データと整合する仮説の中でより小さく、より緻密な仮説が例の数に対して指数的に速く勝つようにします——少ない例から確かなルールへと変えます。
一つのフレームワーク、多くのドメイン： 同じ方程式が金色ステッカー、数ゲーム、連続区間を扱いました——変わったのは $\mathcal{H}$ だけです。連続概念では、Shepard の指数的汎化法則がモデルから自然に導出され、仮定される必要はありません。
事前分布は避けられない。 ノーフリーランチ：あらゆる仮説を考慮する学習者は何も学べません。仮説空間とその事前分布が、汎化を可能にする帰納バイアスです。
コードで言えば： 有限の $\mathcal{H}$ では、サンプリングは不要です——すべての仮説を列挙し、対数空間で事前分布×尤度によってスコアリングし、正規化して投票するだけです。有限リストに対しては厳密であり、連続概念の細かいグリッドに対しても任意の精度が得られます——どちらの方法でも単純です。

未解決の問題と次の章

私たちは $\mathcal{H}$ と $p(h)$ を手作業で選び続けてきました。ノーフリーランチは何らかの事前分布にコミットしなければならないと言っています——しかし、そのコミットメントを永遠に手作業で選ばなければならないとは言っていません。学習者は経験から事前分布を学習することができるでしょうか——多くの関連する概念を観察し、どのようなルールが成り立つ傾向があるかを推論することによって？これが階層ベイズのアイデアです。事前分布自体が事前分布を持つという考えで、このスレッドはチュートリアルの後の方で続きます。

より近いステップとして：この章のすべての仮説空間はルールの平坦なリストでした。しかし実際のモデルはしばしば構造を持ちます——特定の方法で互いに依存する変数が。その構造をグラフとして書き下し、そこから独立性と因果関係を読み取ることが、次のベイズネットワークの章の主題です。

練習問題

自分で試してみよう

もう一つの例。 §5/§6 の数ゲームで、10 を観察した場合、次に 10、20、30 を観察した場合に何が起こるかを見ました。観察が代わりに $\{2, 4, 8\}$ の場合、強いサンプリングによる七つのルールに対する事後分布がどうなるかを手で予測し（次にコードで確認し）てください。どのルールが勝つべきで、なぜサイズ原理はそれを選ぶのでしょうか？（ヒント：三つすべてを含む名前付きルールはどれで、そのうち最小はどれですか？）
より狭く、それともより広く？ 1 次元区間学習器で、指数事前分布の率を $\lambda = 0.5$ から $\lambda = 2.0$ に変えてください。実行する前に：汎化はより狭くなるでしょうか、それともより広くなるでしょうか？実行して「平均区間長 $= 1/\lambda$」という関係と照合してください。
弱いサンプリング対強いサンプリング、再び。 例 $\{2, 4, 6, 8\}$ と二つの仮説「偶数」と「2 の累乗」で数ゲームを再実行してください。強いサンプリングはどちらに傾くでしょうか、また弱いサンプリングは何らかの意見を持つでしょうか？（ヒント：最初に各仮説のサイズを計算してください。）
自分で壊してみよう。 ノーフリーランチの節に従って、完全な 63 ルール空間を構築しますが、弱いサンプリングの代わりに強いサンプリングを維持してください。それでも汎化は平坦な直線に崩壊しますか？すべての部分集合がテーブルに乗っているとき、サイズ原理ができること（とできないこと）を説明してください。（ヒント：強いサンプリングでは、どの単一の整合的なルールが最小で、サイズ原理はそれに何をしますか？）

参考文献

Attneave, F. (1950). Dimensions of similarity. American Journal of Psychology, 63(4), 516–556. https://doi.org/10.2307/1418869 — Shepard の規範的説明に先立つ、指数的類似性/汎化減衰の初期報告。
Shepard, R. N. (1987). Toward a universal law of generalization for psychological science. Science, 237(4820), 1317–1323. https://doi.org/10.1126/science.3629243 — 普遍的指数法則を述べ、それが成り立つ理由についての最初の規範的（ベイズ的）議論を提供。
Tenenbaum, J. B., & Griffiths, T. L. (2001). Generalization, similarity, and Bayesian inference. Behavioral and Brain Sciences, 24(4), 629–640. https://doi.org/10.1017/S0140525X01000061 — この章が発展させる仮説空間/結果集合フレームワーク。Shepard の法則を類似性・ルールベースの汎化と統合。
Tenenbaum, J. B. (1999). A Bayesian framework for concept learning (PhD thesis, MIT). https://dspace.mit.edu/handle/1721.1/16714 — 数ゲームと長方形ゲーム、強いサンプリングのサイズ原理を含む。
Wolpert, D. H. (1996). The lack of a priori distinctions between learning algorithms. Neural Computation, 8(7), 1341–1390. https://doi.org/10.1162/neco.1996.8.7.1341 — §9 の背景にある「ノーフリーランチ」の結果。

Special thanks to JPCCA for their generous support of this tutorial series.

📽️ 講義より: 第4週 — Generalization & Hierarchical Bayes · PDF