미분방정식에 대해 다룹니다.
Instantaneous Change of Variables (ICOV) formula의 의미 부피의 관점에서 알아보자. ICOV는 loglikelihood가 divergence의 -에 의해 결정된다고 했다. divergence는 공간이 퍼지는 건데 공간이 작아져야 (divergence가 0보다 작아야) 응축되니까 밀도가 높아지는 식을 ICOV에서 봤다. 그러면 이제? 부피변화율의 로그는 divergence를 따른다가 ICOV의 부피의 관점에서다 Instantaneous Change of Variables (ICOV) formula의 의미 부피의 관점에서 Instantaneous Change of Variables (ICOV) … Read more
continuity equation은 알게되었다. 그러면 실제 경로에 따라 likelihood값이 변할텐데 이값에 대한 방정식은? log likelihood를 미분하면 divergence가 나오는 형태다. log likelihood가 증가한다는 것은 vt에 의해 확장하는 반대방향에 대응된다. 확장하는 것의 반대는 응축되는것인데 응축되니까 밀도가 단단해 지니까 그에 대응하는 pt가 늘어나는 것으로 보이네? 증명은 초간단 Instantaneous Change of Variables (ICOV) formula의 의미 부피의 관점에서 Instantaneous Change … Read more
continuity equation에 대해 알아보자. flow는 PF ode에 의해 구성된다. 그러면 이 flow에 따라 시간에 따라 변형이 생긴다. 각 시점 t에서의 pdf가 있다고 할대 이 pdf의 변화는 미분방정식으로 표현가능한데 pt와 벡터필드를 곱한것의 divergence 로써 표현된다. 그렇다넹 ? 어떤 공간에 ptvt라는 벡터필드가 작용할대 그것에 의해 발산하는 정도가 pt의 변화와 같다. 어찌보면 직관적이기도? Instantaneous Change of Variables … Read more
지난 글들을 생각해보자. flow matching에서는 vector field를 학습하려고 했다. [2026년 여름 세미나] Flow matching과 그것의 응용 mean flow에서는 vector field의 적분값의 평균을 배우려고 했다. Meanflow에 관한 정리 Meanflow에서 target구하는 거 정정 mean flow를 학습하는데 있어서 jacobian vector product를 구해야 한다는 점이 있었다. 어떤 논문 [1]을 읽다가 다른 방법을 소개받았다. shorcut model [2]에서부터 시작한것이다. jacobian vector … Read more
지난 글에서 meanflow를 소개하면서 target도 소개했었다. Meanflow에 관한 정리 그런데 틀린 부분이 있다. t에 관해 미분하는데 미분을 덜한부분이 있다. 다시 썼다.
아래와 같은 미분방정식이 있다. 의 분포를 라고 하자. 그러면 아래를 만족하고 이것을 Instantaneous change of variables formula리 한다. 위의 식에서 입력변수가 stochastic process 로써 는 에 관한 함수로 간주된다. 증명을 해보자. 라는 사실과 log continuity equation을 이용하면! 지금까지 했던것은 Neura ode와 연관있고 neural ode는 flow matching과 관계 있고 flow matching의 응용으로 음성향상에 쓰인 FlowSE [1]가 … Read more
아래와 같은 continuity equation이 있다고 하자. 위의 식을 좀더 전개해보자. 이므로 이것을 contiuity equation에 대입하자. 그러면 이것을 로 나누자. 이것을 다시 정리하면 아래의 논문을 이해하는데 큰 자산이 될것이다. References [1] Lee, S., Cheong, S., Han, S., & Shin, J. W. FlowSE: Flow Matching-based Speech Enhancement. ICASSP 2025. doi:10.1109/ICASSP49660.2025.10888274.
미분 방정식 시간 가 커지는 미분방정식 있다고 하자. 분포를 라고 표현하자. 위의 미분 방정식은 아래와 같은 형태로도 쓸 수 있다. 그러면 의 분포가 라는 얘기죠. Continuity equation은 아래와 같은 식이다. 이 continuity equation을 증명해보자. 주목할점이 있다. 의 표현이다. random vector의 pdf의 change of variable 쓴거라 보면 된다. 일 때 continuity equation 증명을 위하여 … Read more
가 continuous jump process라고 하자. 가 가질수 있는 값은 continuous이라는 것이고 또한 연속적이다. 나는 지금 를 jump process로 정의하고 싶다. jump process는 가 가만히 있다가 갑자기 다른 state로 이동하는 것을 의미한다. 그러면 이것을 정의하기 위하여 어떤 방법을 취하는가? 바로 jump intensity 혹은 rate function 를 것을 정의한다. 의 뜻은 일때 단위시간동안 에서 다른 state로 jump … Read more
아래와 같은 continuous normalizing flow (CNF) 를 기술하는 상미분방정식 (ode: ordinary differentail equation)이 있다고 하자. 는 시작점에 대한 분포이다. 이제 $x_t = \psi_t(x)$라 하자. 그리고 $x_t$의 pdf (probability density function)을 $p_t$라고 하자. $p_t$는 pushforward measure이므로 아래와 같이 정의된다. 이제 의 log likelihood인 $\log p_t(x_t)$를 알려고 한다. log-density가 더 맞는 말인것 같기도 하다. 전설의 논문 NeurODE … Read more