아래와 같은 continuous normalizing flow (CNF) 를 기술하는 상미분방정식 (ode: ordinary differentail equation)이 있다고 하자.
\frac{d\psi_t(x)}{dt} = v(\psi_t(x), t), x \sim p_0(x)p_0는 시작점에 대한 분포이다.
이제 $x_t = \psi_t(x)$라 하자. 그리고 $x_t$의 pdf (probability density function)을 $p_t$라고 하자. $p_t$는 pushforward measure이므로 아래와 같이 정의된다.
p_t :=(\psi_t)_{\sharp}p_0이제 p_t의 log likelihood인 $\log p_t(x_t)$를 알려고 한다. log-density가 더 맞는 말인것 같기도 하다.
전설의 논문 NeurODE 에서 log-density는 아래와 같은 미분 방정식으로 표현된다는 것을 보였다. 아래의 꼴은 NeurODE에서 나온 form은 아니지만 난 이 기호가 좀더 편해서 이걸로 쓴다.
\frac{d}{dt} \log p_t(x_t) = - tr( \frac{d}{dx_t} v(x_t,t) ) = - \nabla_{x_t} \cdot v(x_t,t)이것의 좋은점은 jacobian matrix의 determinant대신 trace만 구해서 계산양이 줄어든다는 점이다.