조건부 독립(Conditionally independent)에 대한 정의


조건부 독립의 정의

확률변수 X,Y는 Z가 주어질 때 독립이면 X,Y는 조건부 독립이라고 한다.

$$p(x,y|z) = p(x|z)p(y|z)$$

왜 조건부 독립일까?

확률변수 X,Y,Z 라고 하자. X가 가질 수 있는 값은 10개이고 Y가 가질 수 있는 값 또한 10개이다. Z가 가질 수 있는 값은 2개 뿐이다. 이제 Z가 주어질 때의 X,Y의 결합 확률분포를 따져보도록 하자. 확률밀도함수나 확률질량함수를 구해야 하는데  결국엔 밑에 함수를 구해야 한다.

$$p(x,y|z)$$

X,Y가 결합되었기 때문에 구해야 경우는 (x,y,z)가 가질 수 있는 모든 경우로 총 20000=10 X 10 X 2이다. 그냥.. 겁나 많다. 그런데 여기서 X,Y는 Z가 주어질 때 독립이라고 가정하면 다음과 같이 식을 바꿀 수 있다.

$$p(x,y|z) = p(x|z) p(y|z)$$

조건부 독립일 경우 구해야 되는 경우는 아래와 같다.

모든 (x,z)에 대한 p(x|z) 값 : 10X2 = 20 개

모든 (y,z)에 대한 p(y|z) 값 : 10X2 = 20 개

X,Y는 결합 상태가 아니므로 총 40개의 경우에 대해 조건부 확률함수를 알면 된다. 조건부 독립일 때에 비하면 알아야 되는 사건의 갯수가 확줄어든다.

조건부 독립 활용방안

조건부 독립의 활용방안으로 Naive Bayes classifier가 있다. 이것에 대해 궁금하면 좀 더 검색해 보길 바란다.!

Leave a Comment