Bayesian MSE 에 대해 알아보겠습니다. Full name 으로는 Bayesian Mean Squared Error 입니다. 베이지안 평균제곱오차라고 번역할 수 있겠습니다. 줄여서 BMSE 라고도 하는데요. 베이지안 평균제곱오차는 무엇을 의미할 까요? 자세히 살펴보도록 하겠습니다.
Bayesian MSE (Bayesian Mean Squared Error)
관찰가능한 데이터를 $x$라고 합시다. 그리고 추정하고자 하는 parameter 를 $\theta$라 합시다. Bayesian 관점에서는 $\theta$는 random variable 입니다. 그래서 prior $p(\theta)$가 존재하고 $\theta$에 의존하는 $x$의 분포 $p(\theta \mid x)$가 존재합니다. 그러면 여기서 Bayesian Mean Square Error 는 무엇일까요? 어쨌건 parameter $\theta$를 추정하는 것이 목적인데요. 추정치 $\hat{\theta}(x)$의 성능은 어떻게 하면 측정할 수 있을까요? 추정치 $\hat{\theta}(x)$를 추정하기 위해서 나온것이 바로 Bayesian Mean Square Error 입니다. 아래와 같이요.
$$\text{ Bayesian MSE } = E[(\hat{\theta}-\theta)^2]$$
여기까지 보면 평균제곱오차와 다른점은 안보입니다. 위의 식을 적분을 사용하면 아래와 같이 표현 할 수 있습니다.
$$E[(\hat{\theta}-\theta)^2] = \int (\hat{\theta}(x) – \theta)^2 p(x,\theta)d\theta dx = \int \int (\hat{\theta}(x)-\theta)^2 p(x \mid \theta) dx p(\theta) d\theta$$
베이지안 관점은 $\theta$를 random variable로 보는것인데요 $\theta$를 random variable 로 보기 때문에 prior $p(\theta)$가 존재하고 위와 같은 식으로 표현할 수 있는 것입니다.