Markovian measure와 Reciprocal class의 원소간의 KL divergence에 대해 알아보자. 특정 조건 하에서 KL divergence는 마치 피타고라스 정리가 성립하는 느낌을 준다. 정리해보자.
\mathbb{M} \in \mathcal{M}, \Pi \in \mathcal{R}(\mathbb{Q})이라 하자.
KL(\pi | \mathbb{M})< \infty 일 때 아래가 성립하고
KL(\Pi | \mathbb{M})=KL(\Pi|proj_{\mathcal{M}}(\Pi)+KL(proj_\mathcal{M}(\Pi)|\mathbb{M})KL(\mathbb{M}|\Pi) < \infty 일 때 아래가 성립한다.
KL(\mathbb{M}|\Pi )=KL(\mathbb{M}|proj_{\mathcal{R}\mathbb{Q}})+KL(proj_{\mathcal{R}\mathbb{Q}}|\Pi)출처-Shi, Y., De Bortoli, V., Campbell, A., & Doucet, A. (2024). Diffusion Schrödinger bridge matching. Advances in Neural Information Processing Systems, 36.