정보이론에서 중요한 개념인 엔트로피(Entropy)에 대해 설명하는 글입니다. Entropy (엔트로피)는 도대체 어떤 개념일까요? 이번 글에서는 엔트로피(Entropy)의 정의 대해 알아보고 엔트로피(Entropy)의 의미에 대해서 한번 파헤쳐 보도록 하겠습니다. 집중해 주시길 바랍니다. 여러분들!
엔트로피 (Entropy)에 대해 알아봅시다.
엔트로피 (Entropy)에 대해 본격적으로 알아보겠습니다. 엔트로피는 (Entropy)는 불확실성을 측정하는 방법입니다. 그러면 불확실성 (Uncertainty)에 대해 먼저 알아야 되니 불확실성에 대한 글과 영상을 한번 봐주세요. 그리고 엔트로피(Entropy)에 대한 영상도 있으니 한번 봐주시길 바랍니다.
엔트로피 (Entropy)의 정의
엔트로피 (Entropy)는 어떤 확률질량함수 혹은 확률밀도 함수 p(x) 의 불확실성의 평균을 의미합니다. 기호로 쓰면 아래와 같죠.
만약에 p(x) 가 확률질량함수 (pmf: probability mass function)이라면 아래와 같고
H(p) = - \sum_{x} p(x) \log_2 p(x)만약에 p(x) 가 확률밀도함수 (pdf: probability density function)이라면 아래와 같습니다.
H(p) = - \int p(x) \log_2 p(x) dx엔트로피 (Entropy)의 의미
엔트로피 (Entropy)는 식을 관찰해서 알 수 있듯이 불확실성의 기대값입니다.