https://josephausterweil.github.io/probintro/ja/complexity/index.html**冬のモデル・フェア。**Chibanyは学生モデリングコンテストの審査員を務めます。 どの作品も同じジレンマを提起します：柔軟なモデルはノイズまで含めてすべてに適合 し、単純なモデルはシグナルを見逃します。このPartは正直なモデルの複雑さについ てです：バイアス-バリアンスのトレードオフ（と現代の二重降下）、データとともに 成長するモデル（ディリクレ過程混合）、関数全体の上の分布（ガウス過程）——その 無限幅の物語がPart VIIIへの入口になります。 章一覧 ディリクレ過程混合モデル 本プロジェクトは日本確率計算コンソーシアム協会（JPCCA）の助成を受けています。HugojaThu, 02 Jul 2026 00:00:00 +0000https://josephausterweil.github.io/probintro/ja/complexity/dpmm/index.htmlThu, 02 Jul 2026 00:00:00 +0000https://josephausterweil.github.io/probintro/ja/complexity/dpmm/index.html固定Kの問題点 第5章では、K=2成分のガウス混合モデル（GMM）を使ってChibanyの弁当の謎を解きました。しかし、Kを事前に指定する必要があり、BICを用いてその選択を検証しなければなりませんでした。 もし以下のような状況だったら、どうすればよいでしょうか： 何種類存在するかわからない場合 種類の数が時間とともに変化する場合 モデルにクラスター数を自動的に発見させたい場合 ディリクレ過程混合モデル（DPMM）の登場：データから成分数を学習するベイズノンパラメトリックなアプローチです。 直感：無限のクラスター Chibanyの仕入れ先が時間とともに新しい弁当の種類を増やし続けていると想像してください。固定KのGMMでは、次のことが必要です： 新しい種類が登場したことに気づく モデル選択（BIC）を再実行して新しいKを選ぶ モデル全体を再フィットする DPMMを使えば、モデルはKを事前に指定しなくても、データが到着するにつれて新しいクラスターを自動的に発見します。 重要な洞察：DPMMは無限に多くの潜在クラスターに対して事前分布を設定しますが、実際に「アクティブ」（観測値が割り当てられた）になるクラスターは有限個です。 中華料理店過程のアナロジー DPMMを理解する最も直感的な方法は、**中華料理店過程（CRP）**によるものです。 設定 無限に多くのテーブルがあるレストランを想像してください（各テーブルはクラスターを表します）。お客さん（観測値）が一人ずつ入店し、座る場所を選びます： ルール：n+1番目のお客さんが座る場所： 既に占有されているテーブルk：そこにいるお客さんの人数に比例した確率： $\frac{n_k}{n + \alpha}$ 新しいテーブル：確率： $\frac{\alpha}{n + \alpha}$ ここで： nₖ = テーブルkにいるお客さんの人数 α =「集中パラメータ」（新しいテーブルを作る傾向を制御する） n = これまでのお客さんの総数 富める者はさらに富む これにより富める者はさらに富むというダイナミクスが生まれます： 人気のあるテーブルはさらに多くのお客さんを引き寄せる（クラスタリング） しかし、常に新しいテーブルを始める可能性がある（柔軟性） αはトレードオフを制御する：αが大きいほど → 新しいテーブルが増える 弁当への接続 お客さん = 弁当の観測値 テーブル = クラスター（弁当の種類） 着席の選択 = クラスターの割り当て α = 新しい弁当の種類が出現する可能性 数学：スティック折り畳み構成 DPMMは**スティック折り畳み（stick-breaking）**構成を用いて、無限に多くの成分の混合比率を定義します。 プロセス 長さ1のスティックを想像してください。それを小片に折っていきます： k = 1, 2, 3, …, ∞ について： βₖ ~ Beta(1, α) をサンプリングする πₖ = βₖ × (1 - π₁ - π₂ - … - πₖ₋₁) と設定する 平易な言葉で言うと：