英国でデータサイエンスを学ぶ

30代になってから海外で統計学・機械学習・プログラミングを勉強

MENU

条件付き期待値の期待値

条件付き期待値の期待値の導出過程の備忘メモです。
E(Y)=E[E(Y|X)]の導出の仕方ですね。

準備1: Multiplication Law of Probability

まず上記の条件付き期待値の期待値を直接計算する前に、いくつかの準備を。
英語ですと Multiplication Law of Probabilityと呼ばれる定理の復習からです。(日本語でなんというのでしたっけ?条件付き確率の式を変形すると出てくる表示形式のアレです。。。)
条件Bの下でのAの確率とか、事象Bが生じた場合に事象Aの生じる確率というような表現をする条件付き確率をP(A|B)で表すことにします。
この時、条件付き確率は
 { \displaystyle P(A|B) = \frac{P(A \cap B)}{P(B)}}
となります。
これを式変形して、
 { \displaystyle P(A \cap B) = P(A|B)P(B)}
とすると、Multiplication Law of Probabilityが得られます。

準備2:Law of Total Probability

次の準備として、Law of Total Probabilityの復習です。(日本語ではなんというのでしたっけ?)
結論から先に記載すると、

 { \displaystyle P(A) = \sum_{i=1}^{n}P(A|B_{i})P(B_{i})}
です。

Law of Total Probabilityの導出

導出は以下の通りです。
 { \begin{align}  
P(A) &= P(A \cap \Omega) \\\
         &= P(A \cap (\cup_{i=1}^{n} B_{i})) \\\
         &= P( \cup_{i=1}^{n} (A \cap B_{1} \cup A \cap B_{2} \cup A \cap B_{3} .......A \cap B_{n} ) ) \\\
         &= P( \cup_{i=1}^{n} (A \cap B_{i}) )\\\
         &= \sum_{i=1}^{n} P(A \cap B_{i})\\\
         & = \sum_{i = 1}^{n} P(A| B_{i})P(B_{i})
\end{align}
}
最後の変形でMultiplication Law of Probabilityを使用しています。

条件付き確率の期待値の期待値の導出

上記の2つの準備を経て、E(Y)=E[E(Y|X)]の導出は以下のようになります。
まず、
E[E(Y|X)]ですが、何についての期待値なのか明確にするために、E_{X}[E_{Y}(Y|X)]と明示的に記載します。
内側の期待値を確認すると、
E_{Y}(Y|X) = \sum_{y} y P_{Y|X}(y|x)
となっています。
このことから、条件付期待値の期待値は次のように表され、
 E_{X}[E_{Y}(Y|X)] =\sum_{x} E_{Y}(Y|X=x)P_{X}(x)
これを式変形していくと、
 { \begin{align}  
  E_{X}[E_{Y}(Y|X)] &=\sum_{x} \sum_{y} y P_{Y|X}(y|x) P_{X}(x) \\\
                                 & = \sum_{y}y \sum_{x} P_{Y|X}(y|x)P_{X}(x) \\\
                                 & = \sum_{y} yP_{Y}(y) \\\
                                 &=E(Y)
\end{align}
}
となります。
※2行目から3行目の式変形でLaw of Total Probabilityを利用しています。