階層ベイズ

どちらも直感的に間違っている二つの極端

Chibanyは日誌をつけている。弁当を持ってきた学生ごとに、それがとんかつかハンバーグかを記録している。しばらくすると、日誌は次のようになった。各学生について、弁当の総数 $n_i$ のうちとんかつを持ってきた回数 $k_i$ が記されている：

Chibanyは各学生について、その学生がとんかつを持ってくる確率の真の値 $\theta_i$ を信頼できる形で推定したい。二つの明らかな方策はどちらも失敗する：

どちらの極端も正しくない。解決策は原理に基づいた中間点である部分プーリングだ：各 $\theta_i$ をその学生自身のデータを使いつつ、他の学生の傾向に引き寄せる形で推定する。データが多い学生は自分自身の割合に近いまま；データがほとんどない学生はグループ全体に強く引き寄せられる。これはまさに第4章で精度による重み付けとして学んだ**「事前分布とデータの妥協」そのものだ。ただし、今回の事前分布は他の学生の集合であり、想定されたものではなく学習される**ものである。

以下はコードでのプーリングなしの問題点を示す例 — 背景にあるデータ量が大きく異なる生の割合：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import jax.numpy as jnp

# (student, tonkatsu count k_i, total bentos n_i)
names = ["Alyssa", "Ben", "Carmen", "Diego", "Emi", "Farid"]
k = jnp.array([70, 28, 6, 3, 2, 0])     # tonkatsu counts
n = jnp.array([100, 40, 10, 5, 2, 1])   # total bentos

raw_fraction = k / n
for name, kf, nf, r in zip(names, k, n, raw_fraction):
    print(f"  {name:7s} {int(kf):>2d}/{int(nf):<3d} -> raw estimate {float(r):.2f}")

出力：

  Alyssa  70/100 -> raw estimate 0.70
  Ben     28/40  -> raw estimate 0.70
  Carmen   6/10  -> raw estimate 0.60
  Diego    3/5   -> raw estimate 0.60
  Emi      2/2   -> raw estimate 1.00
  Farid    0/1   -> raw estimate 0.00

Emiが1.00、Faridが0.00という結果がその証拠だ：プーリングなしでは、1〜2回の弁当が — どちらの方向においても — 確信のように見せかけられてしまう。