내가 추정하고 하는 parameter $\theta$가 있다고 가정합시다. random variable $x_1,x_2,..,x_n$을 이용해 $\theta$를 추정합니다. $\theta$를 추정하기 위하여 $x_1,x_2,…,x_n$에 대한 함수 $\hat{\theta}(x_1,x_2,…,x_n)$를 사용하죠. 이 $\hat{\theta}$의 성능은 어떻게 측정할까요? 추정치의 성능을 계산하기 위해 나온 개념이 아래의 평균 제곱오차입니다.

$$MSE = E\left [ (\hat{\theta}-\theta)^2\right ]$$

말그대로 제곱오차의 평균이 나오네요.

평균제곱오차의 또 다른 예시를 보겠습니다. 신호 $d[n]$이 있다고 합시다. 이 신호 $d[n]$을 또 다른 신호 $u[n]$을 이용해서 추정한다고 합시다. $u[n],u[n-1],…,u[n-(M-1)]$을 이용해 $d[n]$을 추정하는데요. 가장 쉬운 방법은 아래와 같이 $u$에 대한 linear form 으로 $d[n]$을 추정합니다.

$$\hat{d} (n \mid u) = \sum_{k=0}^{M-1} w_k u[n-k]$$

위와 같이 $u[n]$값들의 선형결합으로 $d[n]$을 추정하는데요. 이 때 가중치 $w$을 선택하는 것이 중요한데요.  아래의 평균제곱오차를 최소로 하는 $w$를 선택합니다.

$$MSE = E\left [ (\hat{d}[n\mid u]-d[n])^2\right ]$$