베이지안 MMSE estimator 에 대해 알아봅시다. Bayesian MMSE는 풀네임으로 Bayesian Minimum Mean Square Error estimator 입니다.
Bayesian MMSE Estimator
Bayesian MMMSE estimator 를 알려면, Bayesian MSE를 알아야 합니다. Bayesian MSE는 아래와 같이 표현됩니다.
$$BMSE = E[ (\hat{\theta}(X) – \theta)^2] = \int \int (\hat{\theta}(X) – \theta)^2 p(x \mid \theta) dx p(\theta)d\theta$$
위의 식을 최소로 하는 추정치 $\hat{\theta}_{MMSE}$를 구하는 것이 목적이죠. Bayesian MMSE 는 이론적으로 closed form 이 있습니다. 아래와 같이 $x$에 관한 conditional expectation 으로 구해진다는 점이죠.
$$\hat{\theta}_{MMSE}= E[\theta \mid x] = \frac{\int \theta p(x \mid \theta)p(\theta) d\theta}{\int p(x \mid \theta)p(\theta) d\theta}$$
Bayesian MMSE estimator 를 구하려면 $p(\theta \mid x)= p(x \mid \theta)p(\theta)$를 적분해야되는데 쉽지가 않습니다. 적분의 어려움을 해결한 방법으로 Bayesian Linear model 등이 있는데요. 나중에 보도록 하죠.