Deep Karmaning

技術系の話から日常のことまで色々と書きます

不偏分散の考え方

概要

不偏分散がなぜ標本分散をnではなくn-1で割るのかを理解するために考え方をメモしておきます。

単純に標本分散の期待値をとると母分散に一致しないので、一致させるためにn-1で割っているという理解をしています。

不偏分散の考え方

標本X1, ...,Xnがある時、標本平均と標本分散は以下の通り。


\bar{X} = \frac{1}{n} \Sigma_{i}^{n} X_i \\

S^2 = \frac{1}{n} \Sigma_{i}^{n} (X_i - \bar{X})^2

また


E[X_i] = \mu \\
Var(X_i) = \sigma^2

を用いると、


E[\bar{X}] = \frac{1}{n}\Sigma_{i}^{n} E[X_i] =  \frac{1}{n} n \mu = \mu \\
Var(\bar{X}) = Var(\frac{1}{n}\Sigma_{i}^{n} X_i) =  \frac{1}{n^2}\Sigma_{i}^{n} Var(X_i) = \frac{1}{n^2}n \sigma^2 = \frac{\sigma^2}{n}

となる。

標本分散の期待値をとると、



E[S^2] = \frac{1}{n} E[ \Sigma_{i}^{n} (X_i - \bar{X})^2 ] \\\
= \frac{1}{n} E[ \Sigma_{i}^{n} (X_i - \mu - (\bar{X} - \mu))^2 ] \\\
= \frac{1}{n} (\Sigma_{i}^{n}E[(X_i - \mu)^2 ] - nE[(\bar{X} - \mu)^2 ]) \\\
= \frac{1}{n} (n \sigma^2 - n(\frac{\sigma^2}{n}) ) \\\
= \frac{(n-1)\sigma^2}{n}

となり、標本分散の式の通りnで割るのではなく、n-1で割ることで母分散のσ2になることがわかる(上記式の分母がnではなくn-1になる)。したがって、


\frac{1}{n-1} (X_i - \bar{X})^2

が不偏性のある分散(不偏分散)となる。

まとめ

標本分散の期待値を計算することで単純な標本分散が母分散と一致しないことがわかりました。

実際に計算するまでなぜそうなのかわからなかったのですが、実際に計算することで理解が深まったと思います。

それでは間違い等ありましたらご指摘お願いいたします。