정보이론에 대해 다룹니다.
정보이론에서 채널에 대해 알아보겠습니다. 채널은 통신을 하는데 필요한 요소입니다. 통신을 한다는 것은 어떤 message를 주고 받는 것입니다. message를 보내는 쪽과 message를 받는 쪽이 있겠죠. message를 보내는 것과 받는 것을 모델링 한것이 바로 channel 입니다. 자세히 살펴보도록 하죠. 정보이론에서 말하는 채널이란? 정보이론에서 말하는 채널은 위와 같습니다. 요약해서 말하면 W라는 메시지를 Encoder 인 $f_n$에 입력합니다. 그러면 Encoding … Read more
정보이론에서 Cross entropy (교차 엔트로피)는 굉장히 중요한 요소이다. 엔트로피를 정의함으로써 정보이론이 시작한다고 보면 된다. 정보이론에서 엔트로피는 어떤 분포 p를 따르는 정보가 있을 때 이 정보를 표현 할 수 있는 비트수를 뜻한다. 이번에는 분포 p와 q로 구성된 교차 엔트로피에 대해 알아보도록 하자. Cross entropy(교차 엔트로피) 등장 배경 통신상황중에 송신중에 p를 이용하여 정보를 주고받는것을 하다가 p가 아닌 … Read more
KL-divergence, Kullback-Leibler divergence, KL 발산에 대해 알아보겠습니다. KL-divergence 는 정보이론에서 중요한 개념입니다. 그리고 다른 분야에서도 많이 사용되는 개념이지요. 요즘엔 딥러닝에서 많이 사용되는 것 같은데요. 이번 글에서는 KL-divergence, Kullback-Leibler divergence, KL 발산 설명에 대해 알아보도록 하겠습니다. 잘 따라올 준비 되셨나요?! 가봅시다 KL-divergence, Kullback-Leibler divergence, KL 발산 설명해보겠습니다. KL-divergence에 대해 설명 드리도록 하겠습니다. KL 발산에 대해 알기 … Read more
Cross entropy (교차엔트로피)에 대해 알아보겠습니다. Cross entropy 는 정보이론에서 중요한 개념인데요. 정보이론 뿐만 아니라 다른 분야 특히 딥러닝에서 Cross entropy (교차엔트로피)는 중요한 존재합니다. 이번 글에서는 교차엔트로피의 정의와 그 의미를 알아보도록 하겠습니다. 궁금하신 여러분들 모두 집중해서 이 영상을 봐주시길 바랍니다. 감사합니다. Cross Entropy (교차엔트로피)에 대해 알아보자 Cross entropy 에 대해 알아보겠습니다. Cross entropy 는 entropy 와 … Read more
정보이론에서 중요한 개념인 엔트로피(Entropy)에 대해 설명하는 글입니다. Entropy (엔트로피)는 도대체 어떤 개념일까요? 이번 글에서는 엔트로피(Entropy)의 정의 대해 알아보고 엔트로피(Entropy)의 의미에 대해서 한번 파헤쳐 보도록 하겠습니다. 집중해 주시길 바랍니다. 여러분들! 엔트로피 (Entropy)에 대해 알아봅시다. 엔트로피 (Entropy)에 대해 본격적으로 알아보겠습니다. 엔트로피는 (Entropy)는 불확실성을 측정하는 방법입니다. 그러면 불확실성 (Uncertainty)에 대해 먼저 알아야 되니 불확실성에 대한 글과 영상을 한번 … Read more
불확실성 (Uncertainty)에 대해 알아보겠습니다. Uncertainty 는 한국말로는 불확실성이라고 번역을 할 수 있습니다. 확실하지 않은 특성을 불확실성이라고 볼 수 있는데요. 이번 글에서는 불확실성 (Uncertainty)이 무엇인지 그리고 이것을 수학적으로 깔끔하게 정의해보도록 하겠습니다. 여러분들 두 눈 똑바로 뜨고 불확실성(Uncertainty)에 대해 알아봅시다. 불확실성 (Uncertainty)에 대해 논해보자 이제부터 불확실성에 대해 논의해보겠습니다. 불확실성 (Uncertainty)에 대한 설명은 이미 많이 나와있습니다. 불확실성 … Read more
Kullback Leibler Divergence (KL 발산, KL Divergence)에 대해 알아보자. Kullback Leibler Divergence 줄여서 KL divergence 혹은 KL 발산에 대해 알아보겠습니다. KL divergence 는 두 분포사이의 차이(discrepancy)에 대한 measure 입니다. 이번 글에서는 KL divergence 의 정의와 KL divergence 의 의미를 알아보도록 하겠습니다. KL divergence 정의 두개의 pdf 혹은 pmf 가 있다고 합시다. 는 가 있는 sample … Read more