構造：概念・因果・階層 :: 確率と確率的計算のチュートリアル（機械翻訳）

ベイズ的汎化

Thu, 02 Jul 2026 00:00:00 +0000

ベイズ的汎化少数の例から概念をどのように学ぶのでしょうか？ある隠れたルールに当てはまる3つの数を見たとき、あるいは金色のシールが貼られたいくつかのお弁当を見たとき、人はどういうわけか他のどのものがそのルールに当てはまるかを知っています。本章では、あなたがすでに知っているベイズの定理が、一つの転換を行うだけで人間の汎化モデルになることを示します：仮説は集合である、という転換です。自分で試してみよう付属のノートブックでは、数のゲームとサイズ原理をインタラクティブに構築できます： 📓 Colab で開く: 07_generalization.ipynb 唯一の新しいアイデアは、推論の対象となる未知量がもはや数値（平均 $\mu$）や二値的事実（タクシーは青いか？）ではなく、集合——ある性質を共有するものを定めるルール——だということです。それ以外のすべて（ベイズの定理、事後分布、予測分布）はすでに手元にある道具です。本章は長いため、4つのパートに分かれています。順番に進んでください： 4つのパートセットアップとフレームワーク — 金色のシールの話、「どの事象か？」から「どの集合か？」へのキーとなる転換、目標となるシェパードの法則、そしてフレームワークの命名（仮説空間、事前分布、尤度、事後分布；メンバーシップ行列）。数のゲームとサイズ原理 — 事後分布による加重投票としての汎化；弱いサンプリングと強いサンプリング；サイズ原理；そしてテネンバウムの数のゲーム（1つの例で段階的な汎化が生まれ、3つの例でルールに収束する）。連続的概念とシェパードの法則 — 矩形ゲーム：無限に多くの区間仮説に対して同じフレームワークを適用すると、シェパードの汎化の指数法則がモデルから自然に導かれる。ノーフリーランチとまとめ — 何も仮定しない学習者は何も学べない理由、すなわち事前分布が不可避であること；章のまとめ；練習問題；そして参考文献。 graph LR P1[1. セットアップとフレームワーク] --> P2[2. 数のゲームとサイズ原理] P2 --> P3[3. 連続的概念とシェパードの法則] P3 --> P4[4. ノーフリーランチとまとめ] classDef part fill:#2c7fb8,stroke:#333,stroke-width:2px,color:#fff class P1,P2,P3,P4 part 一文で表す転換本章における仮説とはルールであり、ルールとは集合です——そのルールが「その性質を持つ」と言うものの集合です。「仮説は集合である」を心に留めておけば、残りはすべてそこから導かれます。パート1「セットアップとフレームワーク」から始める →

ベイジアンネットワーク

Thu, 02 Jul 2026 00:00:00 +0000

すでに知っていることを描く Chibanyは机に座って、第5章のヒストグラム――謎の始まりとなったあのヒストグラム――を見つめている。この謎が提起したことを思い出そう。重さは2つの別々の塊に分かれている――350 g付近の軽い弁当と500 g付近の重い弁当――間には大きな空白のギャップがある。全体の平均は444.6 g（赤い破線）で、ちょうどそのギャップに位置しており、実際には存在しない弁当を説明している。第5章はこれをガウス混合モデルで解決した。弁当は2つの隠れたクラスター――軽いものと重いもの――から来ており、新しい弁当に対してChibanyは$P(\text{cluster} \mid \text{weight})$（重さが与えられたときに各クラスターから来た確率）を計算することで、箱を開ける前に中身を推測できる。しかし今、別のことが気になっている。自分は実際に何をしたのだろう？モデルを書き下したとき、重さを「見たもの」として扱い、クラスターを「知りたいもの」として扱った。その描像はどこから来たのか？それには名前があるのか？ラボメイトのJamalがコーヒーを持ってふらっとやってきて、画面をちらっと見た。 Jamal: 「ああ、ベイジアンネットワーク推論をやってるんだね。」 Chibany: 「ベイジアンネットワークって何？」 Jamal: 「ここを見て。説明するよ。ずっと描いてたのに、そう呼んでなかっただけだよ。」この章はその会話だ。第5章の混合モデルが実はずっと小さなグラフだったことを発見し、そのグラフに正確な意味を与え、同じ図的言語が多くの相互作用する原因を持つモデルにまでスケールアップするさまを見ていく。謎の弁当をグラフとして描く混合モデルの生成ストーリーを思い出そう。各弁当について、2つのことが順番に起こる。自然がクラスター $z$を選ぶ――軽い（ハンバーグ）か重い（トンカツ）か。クラスターが与えられると、自然はそのクラスターのガウス分布から重さ $x$を引き出す。これを確率量ごとに1つのノードを持ち、「直接影響する」という矢印を持つ図として描くことができる。 graph LR Z(("z
(cluster)")) --> X(("x
(weight)")) classDef hidden fill:none,stroke:#9bbcff,stroke-width:2px,color:#fff classDef observed fill:#cfd6e6,stroke:#9bbcff,stroke-width:2px,color:#111 class Z hidden class X observed 矢印$z \to x$が言うのは：重さはクラスターに依存するということだ。これがモデル全体を描いたものだ。これらのグラフの一般的な慣例に従って、シェーディングされたノード（$x$、重さ）はChibanyが観測するものであり、シェーディングされていないノード（$z$、クラスター）は隠れたものだ。（次の2章を通じて、このシェーディング＝観測済みという慣例を使い続ける。）この小さな図がベイジアンネットワーク（略してベイズネット、有向グラフィカルモデルとも呼ばれる）だ。図そのもの――ノードと矢印だけ――がDAG（有向非巡回グラフ；この略語は章の終わりで解説する）だ。ベイズネットはDAGと各ノードに付随する確率規則を合わせたものだ。各ノードは確率変数であり、各矢印は直接影響する変数へ向かって指している。それだけだ。Chibanyは名前を知らずにずっとこれを描いていたのだ。同じモデル、3つの表現同じものを3つの等価な記述で表すことができる。

条件付き独立性とd分離

Thu, 02 Jul 2026 00:00:00 +0000

グラフから独立性を読み取る第8章では、Chibanyはモデルをグラフとして描き、前向き（サンプリング）と後ろ向き（隠れた原因の推論）の両方向に動かすことを学んだ。しかしベイズネットは分布をコンパクトに格納するだけでなく、もっと微妙なことをしている。その形状が、どの変数がどの変数について情報を持つかを一目で教えてくれるのだ。この章はそれについて扱う。グラフにはチェーン・フォーク・コライダーという3つの基本的な配線パターンしかなく、それぞれの振る舞いを知れば「$A$を観測したことは$B$について何か教えてくれるか？」という問いに、確率を一つも計算せずに答えられることがわかる。3つのパターンのうち一つは直感とは逆の振る舞いをする。その驚き——コライダー——こそが、確率論における最も反直感的な推論のいくつかを生み出す原動力となっている。アリッサがChibanyの隣の椅子に座り、一つの謎を持ち込んだ。アリッサ：「ねえ、奇妙なことに気づいたんだけど。食堂のとんかつが売り切れた日、あなたは午後眠そうにしてるんだよね。じゃあ……とんかつを食べると頭が冴えるの？」 Chibany：「うーん。そうかも？それとも別の何かが両方を引き起こしてるのかも。」 Chibanyが疑念を持つのは正しい。なぜそうなのかを正確に言えるツールを構築しよう。 3つの構成要素ベイズネット内の2つの変数を結ぶ経路は、どれも3つの基本的な3ノードパターンで構成されている。それぞれがどのように情報を通過・遮断するかを学べば、どんなグラフでも分析できる。ここでの問いは常に同じだ。中間ノードを知ることで、両端の関係性が変わるか？ $A \perp B$ は「$A$は$B$と独立である」（一方を知っても他方について何もわからない）、$A \perp B \mid C$ は「$C$を既に知っているならば、$A$は$B$と独立である」と記す。チェーン：$A \to B \to C$ graph LR A(("A
(bento type)")) --> B(("B
(calories)")) B --> C(("C
(afternoon energy)")) classDef node fill:none,stroke:#9bbcff,stroke-width:2px,color:#fff class A,B,C node 弁当の種類（$A$）がChibanyの摂取カロリー（$B$）を決め、カロリーが午後のエネルギー（$C$）を決める。影響はチェーンを下って伝わる。弁当の種類はエネルギーについて確かに情報を持っている——カロリーを通じて。しかしここでカロリーを既に知っているとしよう。弁当の種類はエネルギーについてさらに何かを教えてくれるか？いや——$B$を知れば、エネルギーは$B$にのみ依存し、弁当の種類は無関係になる。中間ノードを観測すると、チェーンを遮断する。 $$A \not\perp C \quad\text{but}\quad A \perp C \mid B.$$チェーンの中間を条件付けると、つながりが断ち切られる。フォーク：$A \leftarrow B \to C$ graph TD B(("B
(cafeteria menu)")) --> A(("A
(Chibany's bento)")) B --> C(("C
(Alyssa's bento)")) classDef node fill:none,stroke:#9bbcff,stroke-width:2px,color:#fff class A,B,C node ここでは共通原因 $B$——今日の食堂のメニュー——がChibanyの弁当（$A$）とアリッサの弁当（$C$）の両方に影響している。Chibanyがとんかつを選んだとわかれば、アリッサも選んだだろうと推測できる——一方が他方を引き起こしたからではなく、メニューが両方を誘導したからだ。つまり$A$と$C$は従属している。

因果ベイズネットとdo演算子

Thu, 02 Jul 2026 00:00:00 +0000

矢印が「原因」を意味するときこれまで、ベイズネットの矢印はひとつの意味しか持っていませんでした。「情報を伝える」という意味です。矢印 $A \to B$ は、両者が確率的に結びついていることを示し、第9章ではグラフの形から、どの確率変数がどの確率変数を説明するかを読み取る方法を学びました。しかし、矢印は因果関係については何も主張していませんでした。フォーク構造 $A \leftarrow B \to C$ では、$A$ と $C$ はどちらかがもう一方の原因でなくても依存関係を持ちます。この章では、矢印が原因を意味すると主張した場合に何が変わるかを問います。その答えは、統計学全体の中で最も重要なアイデアのひとつです。それは、見ることとすることの違いです。 Chibanyは健康診断のためにキャンパスの医療センターを訪れています。医師：「ところで、歯が黄色い人は肺がんの発症率が高いんですよ。」 Chibany：「へえ。じゃあ、歯を白くペイントすれば、リスクを下げられますか？」医師： (笑いながら) 「そういうことじゃないんですよ。」でも、なぜそうじゃないのでしょうか？Chibanyはベイズネットを描くことができます。黄色い歯と肺がんは本当に統計的に関連しています。$P(\text{がん} \mid \text{黄色い歯})$ は実際に $P(\text{がん})$ より高いのです。では、なぜ一方に働きかけてももう一方を変えられないのでしょうか？その答えがこの章の全てです。同じ統計、三つの異なるストーリーこれが、因果関係を難しくする落とし穴です。「黄色い歯と肺がんが偶然より高い頻度で同時に起こる」というひとつの観察は、三つの全く異なる因果構造と矛盾しません。 graph LR subgraph Story1["1. 歯ががんを引き起こす"] T1(("黄色い
歯")) --> C1(("がん")) end subgraph Story2["2. がんが歯を引き起こす"] C2(("がん")) --> T2(("黄色い
歯")) end subgraph Story3["3. 共通原因（真実）"] S3(("喫煙")) --> T3(("黄色い
歯")) S3 --> C3(("がん")) end classDef node fill:none,stroke:#9bbcff,stroke-width:2px,color:#fff class T1,C1,T2,C2,S3,T3,C3 node ストーリー1は、歯を白くすれば助けになると言います。真実であるストーリー3は、それが役に立たないと言います。喫煙が歯を黄ばませかつがんを引き起こすため、歯は単なる指標であり、真の原因とともに現れる症状に過ぎません。歯を白くすることは、原因に触れずに指標をペイントして隠すことになります。ここに重要な事実があります。これら三つのグラフは観察だけでは区別できません。それらはまったく同じ相関関係を予測します。人々の歯と肺をいくら観察しても、どのストーリーが真実かを判別できません（これは第8章で指摘した構造学習の難しさであり、因果の主張がデータ以上のものを必要とする理由です）。決着をつけるには、見るだけでなく、何かする必要があります。なぜ観察では区別できないか：因数分解が一致するこれは根拠のない話ではなく、第8章のマルコフ因数分解から直接導かれます。$T$ を黄色い歯、$C$ をがんとします。各グラフは、各ノードの積（各ノードをその親で条件付けたもの）になります。

情報理論：驚き、不確実性、そして合流点

Thu, 02 Jul 2026 00:00:00 +0000

驚きを測るこれはベイズネットの背骨となる最終章です。ここでは、すべてをひとつのアイデア——情報——で結びつけます。これまで、ある変数が別の変数について何かを教えてくれるかどうか——依存性、独立性、d分離——について議論してきました。情報理論は、どれだけ教えてくれるかを正確な加法的単位、ビットで表現することを可能にします。 Chibanyは毎日どのお弁当を食べたか日記をつけています。トンカツと予測して当たった日もあれば、不意をつかれた日もあります。今日はトンカツに違いないと確信していたのに——ハンバーグが出てきました。 Chibany：「あー、すごく確信してたのに。どれくらい驚いてよかったのかな？」 Jamal：「それはちょうどいい質問——その驚きには正確な数字があるんだよ。」その数字こそが、情報理論の出発点です。驚き $= -\log P(x)$ 結果 $x$ の驚き（または情報量；用語集）は次のように定義されます： $$\text{surprise}(x) = -\log_2 P(x),$$対数の底が2のとき、単位はビットです。考え方はこうです：ある結果の確率が低いほど、それが起きたときにより驚くべきです。具体例で確認してみましょう：トンカツに $P = 0.99$ を割り当てていて、トンカツが来た：驚き $= -\log_2(0.99) \approx 0.014$ ビット。ほとんどなし——基本的にわかっていたから。ハンバーグに $P = 0.01$ を割り当てていて、ハンバーグが来た：驚き $= -\log_2(0.01) \approx 6.64$ ビット。とても大きい——世界が確信を裏切った。なぜよりによって対数なのでしょうか？驚きは独立事象に対して加法的であるべきだからです：独立した2つのことを知ることで、それぞれの驚きの和だけ驚くはずです。独立した確率は積になる（$P(x, y) = P(x)P(y)$）ので、積を和に変える関数が対数です：$-\log P(x,y) = -\log P(x) - \log P(y)$。底は単位を決めるだけで、底2ではフェアなコイン投げ1回分の情報量がビットになります。（結果を伝送するための最適符号長との深い関係がありますが、ここでは必要ありません。）エントロピー = 期待される驚きひとつの結果には驚きがあります。分布全体には、各結果がどれくらい起きるかで重み付けされた平均の驚きがあります。その平均がエントロピー（用語集）です： $$H(X) = \sum_x P(x) \bigl(-\log_2 P(x)\bigr) = -\sum_x P(x) \log_2 P(x) = \mathbb{E}\bigl[-\log_2 P(X)\bigr].$$エントロピーは、$X$ を見る前にどれほど不確実か——平均的にどれだけ驚くことを期待するか——を測ります。3つのケースで直感を確認しましょう：分布エントロピー読み方フェアコイン（$P = 0.5$） $1.0$ ビット 2値の結果における最大の不確実性偏ったコイン（$P = 0.7$） $0.881$ ビット不確実性が低い——「表」と予測して大抵当たる確実な結果（$P = 1$） $0$ ビット不確実性なし、驚きなし、情報なしフェアコインは2値変数として最も不確実な状態——1ビット全部。偏らせると、エントロピーは下がります：変数が予測可能になるほど、その結果が運ぶ情報量は少なくなります。決定論的な結果はまったく情報を持ちません。

階層ベイズ

Thu, 02 Jul 2026 00:00:00 +0000

どちらも直感的に間違っている二つの極端 Chibanyは日誌をつけている。弁当を持ってきた学生ごとに、それがとんかつかハンバーグかを記録している。しばらくすると、日誌は次のようになった。各学生について、弁当の総数 $n_i$ のうちとんかつを持ってきた回数 $k_i$ が記されている：学生とんかつ $k_i$ 合計 $n_i$ 生の割合 $k_i / n_i$ Alyssa 70 100 0.70 Ben 28 40 0.70 Carmen 6 10 0.60 Diego 3 5 0.60 Emi 2 2 1.00 Farid 0 1 0.00 Chibanyは各学生について、その学生がとんかつを持ってくる確率の真の値 $\theta_i$ を信頼できる形で推定したい。二つの明らかな方策はどちらも失敗する：プーリングなし — 各学生を独立に推定する。単純に生の割合 $k_i / n_i$ を使う。Alyssaの場合（70/100）は問題ない。しかし Emiは弁当を2回しか持ってきておらず、どちらもとんかつだったため、この方法では $\theta_{\text{Emi}} = 1.00$ となる。つまり、たった2データポイントの根拠で、Emiは常にとんかつを持ってくると確信を持って言えることになる。**Farid（0/1）**はさらに悪い：弁当を1回持ってきてハンバーグだったというだけで、彼は0%のとんかつ率、つまり絶対にとんかつを持ってこない人間だと宣言されてしまう。誰もこれらの結果を信じないだろう。完全プーリング — 全員共通の割合を用いる。全弁当をまとめて集計する：$158$回中$109$回がとんかつなので、全員について $\theta = 109/158 \approx 0.69$（実際には $0.690$で、データ数の多い AlyssaとBenが支配的）となる。これはEmi/Faridの問題を解決するが、学生間の実際の差異を捨て去ってしまう — そして学生同士には違いがあると考える十分な理由がある。