最尤推定 VS 全確率定理

*『音声認識システム』p26,28

事像$X_i$の確率 $p_i^{ML}$と$p_i^{TP}$

キーワード

• 最尤推定 Maximum Likelihood Estimation(ML)
• 全確率定理 Total Probability Theorem(TP)

複数系列O_k(1<=k<=K)が確率的に与えられており、その観測確率がp(O_k)で与えられている場合、事像X_iの生起回数n_iで、その期待値は:

$$E(n_i)=\sum\limits_{k=1}^Kp(O_k)\cdot n_i^{(k)\tag{1}}$$

但し，$n_i^{(k)}$は事像k番目の系列において、事像X_iの生起回数である。この時、最尤パラメータは

$$\tag{2}p_i^{ML}=\frac{\sum\limits_{k=1}^Kp(O_k)\cdot n_i^{(k)}}{\sum\limits_{i=1}^M\sum\limits_{k=1}^Kp(O_k)\cdot n_i^{(k)}}=\frac{E(n_i)}{\sum\limits_{i=1}^ME(n_i)}$$

により求めることができる。しかしp(O_k)が既知で、且つ全事像のn_iが全ての系列に於いて数えられる場合、全確率の定理によって

$$p_i^{TP}=\sum\limits_{k=1}^Kp(O_k)\cdot p(i|O_k)$$

$p_i$が簡単に求まるのでは？ここで$p_i^{ML}$と$p_i^{TP}$はどんな関連があるのだろう？？？

---

---

例

A,B,C三種類の系列がある。

• A 長さ:300, 個数3

• B 長さ:600,個数9

• C 長さ500, 個数:4

最尤パラメータ推定

$$\begin{align*} \\E(G) &= \frac{3}{16} × 150 &+& \frac{9}{16} × 300 &+& \frac{4}{16} × 250 = 259.375 \\E(Y) &= \frac{3}{16} × 60 &+& \frac{9}{16} × 240 &+& \frac{4}{16} × 100 = 171.25 \\E(R) &= \frac{3}{16} × 90 &+& \frac{9}{16} × 60 &+& \frac{4}{16} × 150 = 88.125 \end{align*}$$

• 平均系列 長さ＝ 259.375 + 171.25 + 88.125 = 518.7

259.375

171.25

88.125

$\begin{align*} \\p^{ML}(G)&=\frac{E(G)}{E(G) + E(Y) + E(R)}=\frac{259.375}{518.7} = 0.50 \\p^{ML}(Y)&=\frac{E(Y)}{E(G) + E(Y) + E(R)}=\frac{171.2 }{518.7} = 0.33 \\p^{ML}(R)&=\frac{E(R)}{E(G) + E(Y) + E(R)}=\frac{ 88.125}{518.7} = 0.17 \end{align*}$

全確率の定理

	G	Y	R
p(A) = 3/16	p(G|A) = 150/300	p(Y|A) = 60/300	p(R|A) = 90/300
p(B) = 9/16	p(G|B) = 300/600	p(Y|B) = 240/600	p(R|B) = 60/600
p(C) = 4/16	p(G|C) = 250/500	p(Y|C) = 100/500	p(R|C) = 150/500

$p(G)$
$= p(A) × p(G|A) + p(B) × p(G|B) + p(C) × p(G|C)$
$= 3/16 × 150/300 + 9/16 × 300/600 + 4/16 × 250/500$
$= 0.5$

$p(Y)$
$= p(A) × p(Y|A) + p(B) × p(Y|B) + p(C) × p(Y|C)$
$= 3/16 × 60/300 + 9/16 × 240/600 + 4/16 × 100/500$
$= 0.3125$

$p(R)$
$= p(A) × p(R|A) + p(B) × p(R|B) + p(C) × p(R|C)$
$= 3/16 × 90/300 + 9/16 × 60/600 + 4/16 × 150/500$
$= 0.1875$

比較

全確率の公式で求まるのに、なぜ最尤パラメータ推定なんかをする必要が生じるのだろう？全確率公式が適用せず、最尤パラメータ推定をしなければならない場合は今一思いつかない。

最尤推定は、その名の通り尤度を最大にする事が目的である。しかし、本当に尤度が最大になったのか？ 尤度を比べてみる：
$\begin{align*}\\ L^{ML}&=p^{ML}(G)×p^{ML}(Y)×p^{ML}(R)&=&0.5×0.33×0.17&=&0.02805\\ L^{TP}&=p(G)×p(Y)×p(R)&=&0.5×0.3125×0.1875&=&0.029296\\ \end{align*}$

$L_{最尤推定}< L_{完全確率}$ 結果として最尤推定が負けた。