確率変数が生成するσ-代数による条件付き期待値

統計学では確率変数で条件付けられた条件付き確率 $P(A \mid X=x)$ や条件付き期待値 $E[Y \mid X=x]$ がよく考えられる。 確率変数が生成するσ-代数によって条件付けられた 条件付き期待値や条件付き確率 $E[Y \mid \sigma(X)], P(A \mid \sigma(X))$ の性質について調べる。

記法

$E[Y \mid \sigma(X)], P(A \mid \sigma(X))$ はそれぞれ $E[Y \mid X], P(A \mid X)$ とも表すこととする。

ドゥーブ・ディンキン (Doob-Dynkin) の補題

詳しくは ドゥーブ・ディンキンの補題 を参照。

条件付き期待値がボレル可測関数$f$によって

\[E[Y \mid X] = f(X)\]

と表現することが可能であることを保証する定理。

$L^2$ 最良近似

$X$ が二乗可積分の場合、$E[X \mid Z]$ は $X$ をデータ $Z$ から推定する時の $L^2$ 最良近似となる。 ドゥーブ・ディンキンの補題によって存在が保証されている $f(Z) := E[X \mid Z]$ となるボレル可測関数 $f$ は、次の期待二乗誤差を最小にする。

\[f = \argmin_{\phi:\mathbb{R} \to \mathbb{R}, Borel可測} E[(X - \phi(Z))^2]\]

詳しくは期待値のL2内積と条件付き期待値参照。

確率変数の独立性との関連

次の2つの定理が成り立つ。

(1) $X$ と $Y$ が独立であるとき、

\[E[X \mid Y] = E[X] \text{ (a.s.) }\]

である。独立の場合、左辺のr.v.が右辺のような定数になることを言っている。

(2) 置換公式

$X$, $Y$ が独立なr.v.で、$g: \mathbb{R}^2 \to \mathbb{R}$はボレル可測写像とする。このとき、Borel可測関数 $h: \mathbb{R} \to \mathbb{R}$ を

\[h(y) := E[g(X, y)]\]

で定義すると、

\[E[g(X, Y) \mid Y] = h(Y)\]

が成立する。

証明

確率変数の独立性と条件付き期待値を参照。