[정보이론] 불확실성 (Uncertainty)에 대한 설명, 정의

 

불확실성 (Uncertainty)에 대해 알아보겠습니다. Uncertainty 는 한국말로는 불확실성이라고 번역을 할 수 있습니다. 확실하지 않은 특성을 불확실성이라고 볼 수 있는데요. 이번 글에서는 불확실성 (Uncertainty)이 무엇인지 그리고 이것을 수학적으로 깔끔하게 정의해보도록 하겠습니다. 여러분들 두 눈 똑바로 뜨고 불확실성(Uncertainty)에 대해 알아봅시다.

불확실성 (Uncertainty)에 대해 논해보자

이제부터 불확실성에 대해 논의해보겠습니다. 불확실성 (Uncertainty)에 대한 설명은 이미 많이 나와있습니다. 불확실성 (Uncertainty)에 대한 영상을 보고 다시 와주세요. 이 영상을 보고 이해가 되셨다면 이 글을 쭉 이어서 볼 필요가 없습니다. 그리고 불확실성 (Uncertainty)를 이용해 Cross entropy (교차엔트로피), Entropy (엔트로피), KL divergence를 정의하므로 Uncertainty 에 대한 개념을 꽉 잡고 있으신게 좋을 겁니다.



불확실성 (Uncertainty)에 대한 의미

예를들어 앞면이 나올 확률이 p 인 동전이 있다고 합시다. 동전을 던져봅시다. p=1/2이면 동전의 앞면이 나온다고 확신을 할 수가 없습니다. 따라서 불확실성이 높습니다. p=1 이면 동전의 앞면이 나온다고 확실할 수 있습니다. 즉 불확실성이 없습니다. p=0이면 동전의 앞면이 나오지 않는다고 (뒷면이 나온다고) 확실할 수 있습니다. 이렇듯 p에 따라서 불확실성이 달라지죠.

동전던지기에 대한 불확실성 (Uncertainty)에 대한 정의

동전이 앞면이 나오는 것에 대해 불확실성은 어떻게 정의하면 좋을까요? 아래와 같이 log를 이용해 정의하는 것이 좋습니다.

- \log_2 p




p=1 일 때 앞면이 나오는 것이 확신하니까 -\log_2 p =0 입니다. p=1/2 이면 앞면이 나오고 뒷면이 나올 확률이 반반이니 불확실의 정도가 젤 높죠. -\log_2 p = 1 가 나오겠네요. 그리고 p=0이면 -\log_2 p = \infty 가 나오는데요. 실제로 p=0이면 앞면이 나올 일이 전혀 없으니까 p=0 일 때는 신경안씁니다.

일반적인 불확실성 (Uncertainty)에 대한 정의

확률분포 p(x) 가 있다고 합시다. x 가 연속변수이면 p(x) 는 pdf(probability density function)이라고 부르고 x 가 이산변수이면 p(x) 는 pmf (probability mass function)입니다. 여기서 x 는 사건이지요. 만약 이 사건 x 가 발생할 것에 대한 불확실성은 아래와 같이 정의합니다.

- \log_2 p(x)

Leave a Comment