Markov chain에 대해 알아보겠습니다. 한글로는 마코브 체인이라 읽으면 되겠네요. 마코브 체인은 markov process라고도 불리웁니다. 그 이유는 마코브 체인 random process이기 때문입니다. 이번에는 마코브 체인에 대해서 알아보겠습니다.
마코브 체인의 정의
랜덤프로세스 $X_t$ 마코브 체인은 아래와 같이 정의 됩니다. 임의의 time index $t_1 < t_2 < …<t_n$일 때
$$P(X_{t_n} \in B_n| X_{t_{n-1}},…,X_{t_1} ) = P(X_{t_n} \in B_n | X_{t_{n-1}}) $$
수식으로만 써놓으면 잘 모르겠죠. $t_1 < t_2 < t_3 < … < t_n$일 때 $t_n$에서의 조건부 확률분포는 바로 전시점 $t_{n-1}$에만 의존한다는 의미이다.!
이산시간 마코브 체인에 대한 정의
사실 마코브 체인은 이산시간 랜덤프로세스에 대해 정의하는것이 더 와닿는다. $X_n$이 마코브 체인이라하면 다음을 만족한다는 얘기이다.
$$P(X_n = x_n | X_{n-1}, X_{n-2},…,X_{1} ) =P(X_n = x_n | X_{n-1})$$
즉 $X_1,…,X_{n-1}$이 주어질 때 $X_n$의 조건부 확률은 $X_{n-1}$이 주어질때 $X_n$의 조건부 확률과 같습니다. 이 의미는 $X_n$은 $X_{n-1}$값에만 영향을 받는다는 얘기이다. 즉 $X_{n-2},…,X_1$는 $X_n$에 영향을 주지 않는다는 의미이다.