역시간 확률미분 방정식에 대해 알아보자. 영어로는 Reverse-time SDE 라고 한다. Reverse-time SDE를 알기 위해서는 정방향 시간에 대해 정의된 Forward-time SDE에 대해 알아야 한다.
Forward-time SDE
위와 같은 방정식을 Forward-time SDE라고 한다. 다른 방식으로는 아래와 같이 쓴다.
$$ d\mathbf{x} = \mathbf{f}(\mathbf{x},t) dt + \mathbf{G}(\mathbf{x},t) d \mathbf{w}$$
위 두식은 시간이 0에서 T로 갈때의 변화를 의미한다. T에서 0으로 반대 방향 변화는 Reverse-time SDE로 표현한다. ([1])
$$ \mathbf{x}_t – \mathbf{x}_0 = \int_0^t \mathbf{f}(\mathbf{x},s)ds + \int_0^t \mathbf{G}(\mathbf{x},s)d\mathbf{w}_s, t\in [0,T] $$
Reverse-time SDE
이것을 적분에 대한 식으로 써보면 아래와 같다.
$$d\mathbf{x} = \{ \mathbf{f}(\mathbf{x},t) – \nabla \cdot [ \mathbf{G}(\mathbf{x},t) \mathbf{G}(\mathbf{x}, t)^T] – \mathbf{G}(\mathbf{x},t)\mathbf{G}(\mathbf{x},t)^T\nabla_\mathbf{x} \log p_t(\mathbf{x} \} + \mathbf{G}(\mathbf{x},t) d\bar{\mathbf{w}}$$
여기서는 t가 T에서 0으로 변할때의 변화를 알 수 있다.
$$ \mathbf{x}_t – \mathbf{x}_T = \int_T^t \left[ \mathbf{f}(\mathbf{x},t)-\nabla \cdot [\mathbf{G}(\mathbf{x},t) \mathbf{G}(\mathbf{x},t)^T] – \mathbf{G}(\mathbf{x},t)\mathbf{G}(\mathbf{x},t)^T \nabla_{\mathbf{x}} \log p_t(\mathbf{x})\right]ds + \int_T^t \mathbf{G}(\mathbf{x},t) d\bar{\mathbf{w}} $$
출처
Song, Yang, et al. “Score-based generative modeling through stochastic differential equations.” arXiv preprint arXiv:2011.13456 (2020).