https://josephausterweil.github.io/probintro/ja/decisions/index.html**Chibanyが行動を学ぶ。**信じるだけでは足りません。秋になり健康志向が始まると、 すべての信念は選択として現金化されなければなりません。このPartは信念から行動 へ——損失と意思決定、時間をまたぐ計画（MDP）、地図なしで行動を学ぶこと （Q学習）、そして大逆転：他者の行動を観察してその目標を推論すること（逆強化 学習・心の理論）、世界そのものが隠れているときの行動（POMDPとタイガー問題）、 さらにこれらのアイデアが今日の最大級のモデルを訓練する現代のフロンティアへと 進みます。 章一覧 統計的決定理論：信念から行動へ マルコフ決定過程：世界を知っているときの計画立案 Q学習：地図なしで行動する 本プロジェクトは日本確率計算コンソーシアム協会（JPCCA）の助成を受けています。HugojaThu, 02 Jul 2026 00:00:00 +0000https://josephausterweil.github.io/probintro/ja/decisions/decision-theory/index.htmlThu, 02 Jul 2026 00:00:00 +0000https://josephausterweil.github.io/probintro/ja/decisions/decision-theory/index.html信念から行動へ 19章にわたって、私たちは一つの問いを、十数通りの姿に変えながら何度も問い続けてきた——見たものを踏まえて、何を信じるべきか？ 私たちは事前分布を構築し、データを尤度に変え、事後分布を読み取ってきた——ベイズ学習の機構の全てだ。しかし信念はまだ選択ではない。どこかの時点で、Chibanyは電卓を置いて弁当を食べなければならない。 Jamal：「よし、弁当はたぶん新鮮だって計算したわけだ。たぶん、ね。で——食べるの？」 Chibany：「90%新鮮。たぶん……うん？」 Alyssa：「でも、何を天秤にかけてるのか考えてみて。大丈夫なら、お昼が食べられる。そうじゃないなら、食中毒になる。『たぶん新鮮』は何をすべきかを教えてくれない——それぞれの間違いがいくらかかるかを比べる必要があるの。」 Alyssaは本章が埋めるギャップに名前を付けた。事後分布は世界についての分布であり、行動は一つのコミットされた一手だ。両者をつなぐ橋が統計的決定理論——間違いのコストがわかったとき、信念をどう決定に変えるかについての規範的な説明だ。これはコース全体の蝶番である：今日までの全ては*何を信じるべきか？に答えてきた；今日からは、問いは何をすべきか？*になる。 本章はワンショット版だ——一度だけ下す、ただ一つの決定。次の章ではこれを時間にわたって引き伸ばし、一つの行動が次の行動につながり、コストが積み重なっていく。 決定問題 あらゆる決定問題は同じ四つの要素を持つ。進みながら、それぞれとその記号に名前を付けていこう。 世界の状態 $\theta$ ——あなたが知らないもの（弁当は新鮮か、傷んでいるか？）。これはまさに、ずっと事後分布を当ててきた未知の量だ。 観測 $x$ ——行動する前に見ることのできるデータ（一嗅ぎ、賞味期限）；第1〜7週は $x$ を事後分布 $p(\theta \mid x)$ に変えてきた。記法を安定させるために $x$ を単一の観測として保つが、それがまとまった一群であっても以下では何も変わらない——単にそのすべてで条件付けすればよい、$p(\theta \mid x_1, \dots, x_n)$。 行動 $a$ ——利用可能な行動の集合 $A$ から引かれる（食べる、または堆肥にする）。 損失 $L(\theta, a)$ ——世界が本当は $\theta$ だったときに行動 $a$ を取ったことをどれだけ後悔するか。低い損失が良い（損失は報酬の鏡像であり、次章で報酬に出会う）。 決定規則 $d(x)$ は戦略だ：それは可能な各観測を、あなたが取る行動へと写像する。流れは左から右に進む——世界は隠れていて、あなたは手がかりを見て、あなたの規則が行動を選び、世界の真の状態がその行動のコストを決める： graph LR T["hidden state θ"] -.clue.-> X["observation x"] X --> D["decision rule d(x)"] D --> A["action a"] T --> L["loss L(θ, a)"] A --> L classDef node fill:none,stroke:#9bbcff,stroke-width:2px,color:#fff class T,X,D,A,L node linkStyle default stroke:#9bbcff,stroke-width:2px,color:#fff 弁当を具体的にしよう。世界は $\theta \in \{\text{新鮮}, \text{傷んでいる}\}$；行動は $\{\text{食べる}, \text{堆肥にする}\}$。損失は各組み合わせのコストを表す：https://josephausterweil.github.io/probintro/ja/decisions/mdps/index.htmlThu, 02 Jul 2026 00:00:00 +0000https://josephausterweil.github.io/probintro/ja/decisions/mdps/index.html1つの決定から決定の列へ 第20章はChibanyに1つの良い決定を下す方法を教えた：損失を比較考量し、信念について平均を取り、行動する。しかし人生は1つの決定ではない。弁当を食べれば翌日どれだけ空腹かが変わる；今日ジムをサボれば明日行くのがより難しくなる。行動は次の行動が直面する世界を作り変える。選択が前方へと波及する帰結を持った瞬間、「最良の行動を選ぶ」だけではもはや不十分だ——最良の列を選ばなければならない。 Jamal：「わかった、じゃあ一週間まるごとを一気に計画すればいい——月曜は軽めに食べて、火曜はジム、水曜は…」 Alyssa：「あらゆる偶発事態を計画する？毎日たとえ数個の選択肢しかなくても、一週間分の計画の数は爆発する。それに世界はノイジーだよ——水曜は台本どおりにいかないかもしれない。」 Alyssaは本当の障害に名前を付けた——しかし正確であることには価値がある。なぜならノイズは実は第2の問題ではないからだ。第20章の決定理論的解法を真剣に受け止めれば、ノイジーな世界が計画を壊すことはない；それは単に、正しい対象が初めから固定された台本ではなかったということを意味するだけだ。本来の解法は、実際に何が起こるかの関数として何をすべきかを述べる決定規則だ——月曜は軽めに食べ、もし水曜がうまくいかなければ調整する。そのような規則はすでにノイズを吸収している；台本が脆いのは、観測を捨ててしまったからにすぎない。 そうして残るのは、本当に痛手となる障害だ：コストである。$|A|^T$ 個の素の行動列があり——四択を一ヶ月行う場合 $4^{30} \approx 10^{18}$ ——、そして偶発対応的な規則は、これまでに観測された全てを行動に写像しなければならないため、はるかに巨大な空間に存在する；その1つを採点するだけでも、過去のあらゆる選択を踏まえて未来が展開しうるあらゆる道筋についてリスクを平均する必要がある。逐次的意思決定は完璧に well-defined（明確に定義されている）——ただ正面から最適化するのが絶望的なだけだ。 救いとなるのは第13章のマルコフ性だ。もし未来が過去に依存するのが現在の状態を通じてのみ——履歴全体ではなく——であるなら、最良の偶発対応規則は、今あなたがいる状態以外には何も必要としない。これにより「あらゆる履歴から行動への写像」が、状態から行動への規則へと崩れ落ちる。これを方策（ポリシー）と呼び、その最良のものを見つける仕組みがマルコフ決定過程（MDP）である。本章はMDPを組み立て、それからルールを完全に知っている世界について——厳密に——それを解く。 始める前にもう1つ材料を。今日の報酬は、千年後の同じ報酬よりも価値がある。だから私たちは単純に未来の報酬を足し合わせるのではない——それらを割引する。割引率 $\gamma$ には後ほど正式に出会う；今のところは「遠い未来ほど価値が小さい」という直観だけを抱いておこう。 MDP ＝ マルコフ連鎖 ＋ 決定 ＋ 報酬 MDPを理解する最もすっきりした方法は、すでに手にしているものから出発して、それを組み立てることだ。第13章ではマルコフ連鎖は状態の集合と単一の遷移行列 $P$ だった——Chibanyの気分が何の発言権もなく日々漂っていくものだった。MDPはその連鎖に2つのものを、1つずつ加える： 報酬を加える。 各状態に数 $R(s)$ を付与する——そこにいることがどれだけ良いか。報酬付きのマルコフ連鎖は、可能な限り最も単純なMDPだ：1行動MDPであり、選択肢は一切なく、連鎖がさまよう中で報酬を集めるだけだ。 遷移行列の選択を加える。 いまエージェントに行動を与える。各行動はそれ自身の遷移行列だ：行動 $a$ を選ぶとは「明日の状態は、あの行列ではなくこの行列から引かれる」ということを意味する。行動は次の状態を直接定めるのではない——次の状態が引かれる分布を定めるのだ。これがMDPの核心にある唯一の考え方である：行動は、どの遷移行列が明日を支配するかを選ぶ。 マルコフ決定過程とは、これによって残される5つの構成要素である。それぞれに記号とともに名前を付ける： 状態 $S$ ——エージェントが取りうる状況。 行動 $A$ ——利用可能な選択肢。 遷移関数 $T(s' \mid s, a) = P(s_{t+1} = s' \mid s_t = s, a_t = a)$ ——行動ごとに1つの遷移行列。（素のマルコフ連鎖は、行動が1つだけの特殊ケースだ。） 報酬 $R(s)$ ——各状態での見返り。（一般には報酬は行動にも依存しうる、$R(s, a)$；Chibanyのものは状態だけに依存する。） 割引 $\gamma \in [0, 1)$ ——未来が今と比べてどれだけの価値を持つか。 そして方策（ポリシー） $\pi(a \mid s) = P(a_t = a \mid s_t = s)$ はエージェントの規則だ：各状態でどの行動を取るか。世界がマルコフ的であるため、方策は現在の状態だけを必要とする——履歴ではない——これこそが $|A|^T$ の爆発を手なずけるものだ。https://josephausterweil.github.io/probintro/ja/decisions/q-learning/index.htmlThu, 02 Jul 2026 00:00:00 +0000https://josephausterweil.github.io/probintro/ja/decisions/q-learning/index.htmlモデルを知らないとき 第21章では、ChibanyのMDPを厳密に解いた——だがそれは世界全体を知っていたからこそできたことだ：すべての遷移確率 $T(s'\mid s,a)$ と、すべての報酬 $R(s)$ を。価値反復はそれらの数値をモデルから読み取る。モデルを取り去れば、ベルマン・バックアップには読むものが何もない。 Jamal：「でもChibanyは自分の人生の遷移行列なんて持っていない。誰も持っていない。ただ……色々試して、何が起こるか見るだけだよね。」 Alyssa：「そう——だから問いが変わる。『ルールが与えられたとき、何が最適か？』じゃなくて、『ルールブックなしに、経験だけからどうやって上手く行動することを学ぶか？』になるんだ。」 これこそ最も純粋な形での強化学習だ：$T$ も $R$ も知らないエージェントが、行動を取り、どんな報酬と次状態が返ってくるかを見て、少しずつ上達していく。そのための最も有名なアルゴリズムがQ学習であり、その美しい点は、モデルを一度も見ることなく、価値反復が計算したであろう同じ最適方策を学習することだ。本章ではそれを組み立て、それが粗悪に設計された報酬に出し抜かれる様子を観察し、最後にフロンティアにたどり着く：学習したモデルをシミュレートして計画を立てる、という地点だ。 Q学習の更新則 前章の行動価値 $q^*(s,a)$ を思い出そう——状態 $s$ で行動 $a$ を取り、その後は最適に行動した場合の長期的なリターンだ。もしすべての $q^*$ の値を知っていれば、行動するのは簡単だ：各状態で、最大の $q$ を持つ行動を取ればよい。Q学習の仕事はまさに、経験から $q^*$ を推定することであり、テーブル $Q(s,a)$ を保持し、エージェントが一歩進むたびにそれを真の値へと少しずつ近づけていく。 その「少しずつ近づける」操作こそが核心だ。状態 $s$ で行動 $a$ を取り、報酬 $r$ と次状態 $s'$ を観測する。あなたは今、真の値を一歩分だけ垣間見ている：$r$ に、$s'$ からできる最善のことの割引価値を足したものだ。これをターゲットと呼ぼう。ターゲットと現在の推定値との差が時間差分（TD）誤差であり、推定値をターゲットに向けて割合 $\alpha$ だけ動かす： $$Q(s,a) \;\leftarrow\; Q(s,a) \;+\; \underbrace{\alpha}_{\text{learning rate}} \big[\, \underbrace{r + \gamma \max_{a'} Q(s',a')}_{\text{target}} \;-\; Q(s,a) \,\big].$$2つの新しい記号が、それぞれ登場と同時に名付けられる：学習率 $\alpha \in (0,1]$ は各更新の大きさを制御し、角括弧内の量がTD誤差——どれだけ驚いたか——だ。ターゲットが推定値と一致すれば、誤差はゼロで何も変わらない；現実が予想より良ければ、誤差は正となり $Q$ は上がる。学習とは、驚きを繰り返し減らすことに他ならない。