정보이론에서 채널에 대해 알아보겠습니다. 채널은 통신을 하는데 필요한 요소입니다. 통신을 한다는 것은 어떤 message를 주고 받는 것입니다. message를 보내는 쪽과 message를 받는 쪽이 있겠죠. message를 보내는 것과 받는 것을 모델링 한것이 바로 channel 입니다. 자세히 살펴보도록 하죠.
정보이론에서 말하는 채널이란?
정보이론에서 말하는 채널은 위와 같습니다.
요약해서 말하면 W라는 메시지를 Encoder 인 $f_n$에 입력합니다. 그러면 Encoding 된 $X^n $이 나옵니다. 이것이 채널을 지나면 noise 가 쌓이면서 $Y^n$이 나오고 $Y^n$을 decoding 해서, 보내는 쪽에서 보내려고 했던 $W$를 추정합니다. 자세히 써보면 아래와 같습니다.
$W$ : 전송할 message를 의미합니다.
$f_n$ : 길이가 n인 block의 encoder (함수)를 말합니다. 메시지를 보낼 때, n개씩 모아서 보내기 때문이죠.
$X^n$ : $X$에서 추출된 n개의 sequence 입니다.
$p(y\mid x)$ : $X$에서 추출된 x는 채널을 지나면서 noise가 쌓이는데요. 이것을 표현하기 위해 transition matrix를 사용합니다.
$Y^n$ : $X^n$이 전송되면 $Y^n$을 받습니다.
$g_n$ : $Y^n$을 해석하기 위한 decoder 입니다.
$\hat{W}$ : 채널의 송신자가 보낸 $W$를 추정하는 추정치입니다.
위와 같은 식으로 메시지를 encoder를 지나면서 보낼 준비를 하고 보내게 되면 transition probability 에 의해 본래의 x가 아닌 다른 형태가 됩니다. 이것을 decoder로 복원해서 메시지를 받는 형태가 되지요.