$X_n$가 markov process라고 하자. 그리고 $X_n$이 가질 수 있는 값은 이산적이라고 하자. 그러면 $X_n$의 움직임을 볼 수 있는 전이행렬 $P$이 존재한다. 이 전이행렬을 가지고 $X_n$에서 $X_{n+1}$로 변할 확률을 구할 수 있다.
$$P_{ij} = P(X_{n+1} = j | X_{n} = i)$$
이렇듯 마코브 프로세스는 전이행렬을 가지고 표현이 가능하다. 그런데! $P(X_n =j)$처럼 $X_n$의 분포는 어떻게 구할 수 있을까? 구하는 것이 가능할까?
$P(X_n=j)$의 분포 구하는 방법
$P(X_n=j)$의 분포를 구해보도록 하자. 우선 시작점 $X_0$에 대한 분포 $\pi$는 주어져있다고 하자. $\pi$는 확률을 나타내는 벡터이다. 그러면 $P(X_n=j)$는 다음과 같이 구할 수 있다.
$$P(X_n) = \sum_{i_0,i_1,…,i_{n-1}} \pi_{i_0}p_{i_0i_1}p_{i_1i_2} \cdot\cdot\cdot p_{i_{n-1}j}$$
보기만 해도 봉잡하지 않은가? 이걸 행렬관점에서 써보면
$$P(X_n=j) = \pi P^{n} \text{의 j번째 원소}$$
이렇단 얘기는 $P(X_n)$에 대해 알려면 $\pi P^{n}$에 대해 계산을 해야 되는데 쉽지가 않다.
stationary distribution
위에서 $P(X_n)$를 구하기 위해서는 $\pi P^n$를 구해야 한다고 했는데 쉽지가 않다고 했다. stationary distribution 은 $P(X_n)$을 구하기 쉬워지게 만들어주는 분포이다. $X_0$의 분포를 $\pi$라고 표현했는데 다음과 같은 식이 성립한다고 가정하자.
$$\pi = \pi P$$
위의 식의 의미는 $X_1$의 분포와 $X_0$의 분포가 같아진다는 것을 의마한다. 여기서 $P$를 계속 곱하면 아래와 같은 식이 나온다.
$$\pi = \pi P^n$$
이 식의 의미는 $X_0$의 분포와 $X_n$의 분포가 같다는 얘기다. 이렇듯 $\pi = \pi P$이기만 하면 $X_0,X_1,…,X_n,…$각각의 분포가 동일한 분포를 갖느다. 시간이 흘러도 분포가 동일해지기 때문에 $\pi = \pi P$를 만족하는 $\pi$를 stationary distribution 이라고 부른다.