用語集

集合とは、要素またはメンバーの集まりです。集合は、含む要素と含まない要素によって定義されます。要素はカンマで区切って列挙され、"$\{$" が集合の開始を、"$\}$" が集合の終了を表します。集合の要素は一意（重複なし）であることに注意してください。

例： $\{H, T\}$ は H と T の2つの要素を含む集合です。

標本空間（ギリシャ文字オメガ $\Omega$ で表す）は、ある確率的プロセスにおけるすべての起こりうる結果の集合です。確率を計算するための基礎となります。

例： Chibany の1日2回の食事に対して、$\Omega = \{HH, HT, TH, TT\}$ となります。

事象とは、起こりうる結果のうち、0個・一部・またはすべてを含む集合です。言い換えると、事象とは標本空間 $\Omega$ の任意の部分集合です。

例： 「少なくとも1回のとんかつ」は事象 $\{HT, TH, TT\} \subseteq \Omega$ に対応します。

集合の濃度またはサイズとは、その集合に含まれる要素の数です。$A = \{H, T\}$ のとき、$A$ の濃度は $|A|=2$ となります。

記法： $|A|$ は「集合 $A$ のサイズ」を意味します。

標本空間 $\Omega$ に対する事象 $A$ の確率は、それぞれのサイズの比率として定義されます：$P(A) = \frac{|A|}{|\Omega|}$。

結果に重みがある（等確率でない）場合は、数を数える代わりに重みを合計します。

解釈： 「起こりうる結果のうち、事象 $A$ に含まれる割合はどれくらいか？」

条件付き確率とは、別の事象についての知識を条件とした場合の事象の確率です。ある事象を条件とするということは、その事象に含まれる結果が可能性の集合、つまり標本空間を形成するということを意味します。その限定された標本空間の中で、通常通り確率を計算します。

形式的には、$P(A \mid B) = \frac{|A \cap B|}{|B|}$ と書かれます。$\mid$ の左側が確率を知りたい対象、右側が真であると分かっている事実です。

別の式： $P(A \mid B) = \frac{P(A,B)}{P(B)}$（$P(B) > 0$ と仮定）

同時確率と周辺確率を用いると、条件付き確率は同時確率と条件とする情報の周辺確率の比として定義できます：

これは集合に基づく定義と等価ですが、数を数える代わりに確率の公式を使います。

周辺確率とは、1つ以上の他の確率変数の取りうる値について総和をとることで計算された、ある確率変数の確率です。

式： $P(A) = \sum_{b} P(A, B=b)$

直感： 「$B$ が何であるかに関わらず、$A$ の確率はどれくらいか？」

同時確率とは、複数の事象がすべて起こる確率です。これはすべての事象に含まれる結果（積集合）に対応します。

記法： $P(A, B)$ または $P(A \cap B)$

直感： 「$A$ と $B$ の両方が起こる確率はどれくらいか？」

ある確率変数または事象の結果を知ることが、別の確率変数または事象の確率に影響を与える場合、それらの変数または事象は従属であると言います。これは $A \not\perp B$ と表します。

互いに影響を与えない場合、それらは独立と言います。これは $A \perp B$ と表します。

独立性の形式的定義： $P(A \mid B) = P(A)$、または同等に、$P(A, B) = P(A) \times P(B)$

確率変数とは、起こりうる結果の集合から何らかの集合または空間への写像である関数です。関数の出力（値域）は、結果の集合そのもの、結果に基づく整数（例：とんかつの回数を数える）、またはより複雑なもの（例：世界の友人関係行列——$N_{1,100}=1$ が人物1と人物100が友人であることを表す 80億×80億 の二値行列）であり得ます。

技術的には、出力は可測でなければなりません。確率変数の出力が非常に大きく（例えば連続的に）なる場合を除き、この区別を気にする必要はありません。連続確率変数の確率については後ほど詳しく説明します。

重要な洞察： 「確率的（ランダム）」と呼ばれるのは、その値がどの結果が起こるかに依存するからですが、実際のところ単なる関数です！

ベイズの定理（またはベイズの公式）は、変数を条件とする順序を逆転させる公式です：$P(A \mid B)$ から $P(B \mid A)$ を求める方法です。

式： $P(H \mid D) = \frac{P(D \mid H) P(H)}{P(D)}$

各成分：

• $P(H \mid D)$ = 事後分布（データを観測した後の更新された信念）
• $P(D \mid H)$ = 尤度（データが仮説にどの程度適合するか）
• $P(H)$ = 事前分布（データを観測する前の信念）
• $P(D)$ = 証拠（データの全確率）

応用： 新しい情報で信念を更新すること

生成過程とは、ランダムな選択を含むアルゴリズムに従って、起こりうる結果の確率を定義するものです。結果を生成するレシピと考えることができます。

例： 「コインを2回投げる：1回目は昼食（H または T）、2回目は夕食（H または T）。その組み合わせを記録する。」

これは確率的プログラミングに繋がる概念で、結果を生成するコードを記述します。

確率的コンピューティングとは、確率的モデルを記述し、推論（モデルに従ってさまざまな確率を計算すること）を効率的な方法で実行するためのプログラミング言語およびシステムを指します。

例： GenJAX, PyMC, Stan, Turing.jl

重要なアイデア： すべての結果を手で列挙する代わりに、結果を生成するコードを記述し、数え上げはコンピュータに任せましょう！

多数のランダムサンプルを生成し、結果を数えることで確率を近似する計算手法です。モナコのモンテカルロカジノにちなんで名付けられました。

手順：

1. 多数のランダムな結果を生成する（例：10,000日分のシミュレーション）
2. 対象の事象を満たすものを数える
3. 比率を計算する

有用な場合： 標本空間が大きすぎて手で列挙できない場合

確率的プログラミングにおいて、トレースは生成関数の1回の実行中に行われたすべてのランダムな選択を、そのアドレス（名前）および戻り値とともに記録したものです。

イメージ： 確率的プログラムを1回実行したときの「何が起こったか」の完全な記録

使用箇所： GenJAX およびその他の確率的プログラミングシステム

GenJAX や類似のシステムにおいて、生成関数とは @gen デコレータが付いた Python 関数で、アドレス付きのランダムな選択を行うことができます。戻り値に対する確率分布を表します。

例：

1
2
3
4

@gen
def coin_flip():
    result = bernoulli(0.5) @ "flip"
    return result

GenJAX においてアドレス（名前）をランダムな選択の値に対応付ける辞書のような構造です。以下の用途に使用されます：

• どのランダムな選択が行われたかを記録する（トレースから）
• 推論のための観測値を指定する
• ランダムな選択を制約する

イメージ： すべてのランダムな決定に名前を付けて追跡する手段