Cross entropy (교차엔트로피)에 대해 알아보겠습니다. Cross entropy 는 정보이론에서 중요한 개념인데요. 정보이론 뿐만 아니라 다른 분야 특히 딥러닝에서 Cross entropy (교차엔트로피)는 중요한 존재합니다. 이번 글에서는 교차엔트로피의 정의와 그 의미를 알아보도록 하겠습니다. 궁금하신 여러분들 모두 집중해서 이 영상을 봐주시길 바랍니다. 감사합니다.
Cross Entropy (교차엔트로피)에 대해 알아보자
Cross entropy 에 대해 알아보겠습니다. Cross entropy 는 entropy 와 관련있는 개념입니다. 줄여서 CE 라고 쓰기도 하죠. entropy 는 불확실성과 관련이 있습니다. Entropy 와 불확실성에 대한 개념이 없으신 분은 아래 글을 읽어 보시는 것을 추천합니다.
[정보이론] 불확실성 (Uncertainty)에 대한 설명, 정의
그리고 Cross entropy 에 대해 빠르게 알고 싶으신 분은 이 영상(Cross Entropy)을 보시면 많은 도움이 될것 같습니다. 영상을 보고 다 이해가 되셨다면 이 글을 더 이상 안보셔도 되겠습니다.
Cross Entropy (교차엔트로피)의 정의
두개의 확률질량함수(PMF: probability mass function) 혹은 확률밀도 함수(PDF: probability density function)인 p(x) , q(x) 가 있다고 합시다. 그랬을 때 p(x) 에 대한 q(x) 의 Cross Entropy 는 아래와 같이 정의됩니다.
H(p,q) = E_p [ - \log_2 q(X) ]-\log_2 q(x) 의 평균을 p(x) 를 이용하여 구하고 있습니다. 잠시 관찰을 해보면 H(p,p) = E_p [-\log_2 p(X) ] 임을 알 수 있습니다.
Cross Entropy (교차엔트로피)의 의미 설명
이제 교차엔트로피 (Cross Entropy)의 의미에 대해 알아보겠습니다. - \log_2 q(x) 는 사건 x 가 발생할 불확실성을 측정합니다. 그런데 x 마다 이 불확실성이 다르겠죠. 이 불확실성의 평균을 내기위해 엔트로피 H(q) 를 측정했었죠. 그런데 평균을 측정하는 방법이 q(x) 가 아닌 p(x) 일 때 Cross entropy 라고 부릅니다.