이번에는 LMMSE(Linear Minimum Mean Squared Error) estimator에 대해 알아보도록 하자. LMMSE 전에 MMSE에 대한 개념을 알고가면 좋다.
MMSE에 대한 복습
위의 글에서 볼 수 있듯이 MMSE는 평균을 최소로 하는 추정치이다. X를 이용해 Y를 추정한다 했을 때 MMSE는 다음과 같이 조건부 평균이다.
$$ MMSE = E[Y | X]$$
LMMSE 란?
MMSE 를 구하면 조건부 평균이라고 했다. 실제로 조건부 평균을 구하는 것은 쉽지 않다. 조건부 확률을 알고 적분을 해야 되는데 이것이 쉽지 않기 때문이다. 그대신에 X의 선형결합으로 Y를 추정하는 방법을 생각할 수 있다. g(X) = AX + B꼴로 Y를 추정하는 방법이다. 이렇게 선형모양으로만 추정을 하는데 평균제곱오차가 가장작아지는 추정치를 LMMSE 추정치라고 한다.
$$ \text{Y의 X를 통한 LMMSE} = A^* X + B* \text{ where } A^*, B^* = argmin_{A,B}E||AX+B – Y||^2$$
LMMSE는 어떻게 구하나?
MMSE를 구하기가 어려워서 LMMSE를 구한다고 했다. LMMSE는 closed form으로 해가 있다. 편미분을 이용해 해를 구할 수 있다.
$$ \frac{\partial}{\partial A}argmin_{A,B}E||AX+B – Y||^2 = 0 $$
$$ \frac{\partial}{\partial B}argmin_{A,B}E||AX+B – Y||^2 = 0 $$
$$A^* = C_{YX}C_X{^-1} , B^* = E[X] – A^*E[X]$$