確率変数の独立性と条件付き期待値

独立な確率変数による条件付け

$X$ と $Y$ が独立であるとき、

\[E[X \mid Y] = E[X] \text{ (a.s.) }\]

である。独立の場合、左辺のr.v.が右辺のような定数になることを言っている。

証明

$E[X \mid Y]$ は $\sigma(Y)$-可測なので、この等式を示すには、$\forall A \in \sigma(Y)$ に対して

\[\int_A E[X \mid Y] dP = \int_A E[X] dP\]

を示せばよい。この式の左辺は条件付き期待値の定義より $\int_A X dP$ で、右辺は $P(A) E[X]$ であるので、

\[\int_A X dP = P(A) E[X]\]

を示せばよい。$A \in \sigma(Y)$ より、$\exists B \in \mathcal{B}(\mathbb{R})$ s.t. $A = Y^{-1}(B)$。よって

\[\int_A X dP = \int_{Y^{1}(B)} X dP = \int \mathbf{1}_{Y^{-1}(B)} X dP = \int \mathbf{1}_{B}(Y) X dP = E[\mathbf{1}_{B}(Y) X]\]

すると、この式は $X$ と $Y$ の独立性より

\[= E[\mathbf{1}_{B}(Y)] E[X] = E[\mathbf{1}_{A}] E[X] = P(A) E[X]\]

となり、求める等式が得られる。

置換公式 (substitution law, freezing law)

$X$, $Y$ が独立なr.v.で、$g: \mathbb{R}^2 \to \mathbb{R}$はボレル可測写像とする。このとき、Borel可測関数 $h: \mathbb{R} \to \mathbb{R}$ を

\[h(y) := E[g(X, y)]\]

で定義すると、

\[E[g(X, Y) \mid Y] = h(Y)\]

が成立する。

証明

証明の中心となるのはフビニの定理である。(1) $h(Y)$ が $\sigma(Y)$ 可測であること (2) $\int_A g(X, Y) dP = \int_A h(Y) dP$ が任意の $A \in \sigma(Y)$ で成立すること、の2つが示されれれば、測度論の一般論より目標の等式が得られる。

(1) については、

\[\begin{aligned} h(y) & = \int g(X, y) dP = \int g(x, y) X_*(P)(dx) \end{aligned}\]

である($X_*(P)$ は像測度である)が、この右辺はフビニの定理より変数 $y$ に関して可測である。

(2) については、まず $A \in \sigma(Y)$ より $\exists B\in \mathcal{B}(\mathbb{R}) A$ s.t. $A = Y^{-1}(B)$ となることがポイントとなる。 (2) の式の右辺は

\[\int_A h(Y) dP = \int \mathbf{1}_{A} h(Y) dP = \int \mathbf{1}_B(Y) h(Y) dP = \int \mathbf{1}_B(y) h(y) Y_*(P)(dy) = \int \int \mathbf{1}_B(y) g(x, y) X_*(P)(dx) Y_*(P)(dy) = \int \int \mathbf{1}_B(y) g(x, y) (X_*(P) \times Y_*(P))(dx dy)\]

となる(最後の等式はフビニの定理を用いている)。確率変数の独立性より、この右辺に現れる $X_*(P) \times Y_*(P)$ という直積測度は $(X,Y)_*(P)$という同時分布測度と等しい。 よって、これは

\[\int 1_B(Y) g(X, Y) dP\]

と等しく、$A = Y^{-1}(B)$ よりこれは $\int_A g(X, Y) dP$と等しい。