continuity equation에 대해 알아보자. flow는 PF ode에 의해 구성된다. 그러면 이 flow에 따라 시간에 따라 변형이 생긴다. 각 시점 t에서의 pdf가 있다고 할대 이 pdf의 변화는 미분방정식으로 표현가능한데 pt와 벡터필드를 곱한것의 divergence 로써 표현된다. 그렇다넹 ? 어떤 공간에 ptvt라는 벡터필드가 작용할대 그것에 의해 발산하는 정도가 pt의 변화와 같다. 어찌보면 직관적이기도? Instantaneous Change of Variables … Read more
지난 글들을 생각해보자. flow matching에서는 vector field를 학습하려고 했다. [2026년 여름 세미나] Flow matching과 그것의 응용 mean flow에서는 vector field의 적분값의 평균을 배우려고 했다. Meanflow에 관한 정리 Meanflow에서 target구하는 거 정정 mean flow를 학습하는데 있어서 jacobian vector product를 구해야 한다는 점이 있었다. 어떤 논문 [1]을 읽다가 다른 방법을 소개받았다. shorcut model [2]에서부터 시작한것이다. jacobian vector … Read more
지난 글에서 meanflow를 소개하면서 target도 소개했었다. Meanflow에 관한 정리 그런데 틀린 부분이 있다. t에 관해 미분하는데 미분을 덜한부분이 있다. 다시 썼다.
Meanflow에 대해 정리해보자. 사진으로 정리하였다. 수식보다는 말로 정리하자. flow matching이라 하면 간단한 분포로부터 데이터 분포로 보낼 수 있는 probability flow ode를 설계 하고 학습하는 것이다. 결국에는 적분을 해야 하는 것이다. 적분을 하기 위해서 vector field를 학습해야 한다. 맞죠? 학습을 할때는 특정 시점마다 vector field 배우는것이 flow matching이다. 그런데! Mean flow란 무엇일까? 적분을 하기 위한 … Read more
아래와 같은 미분방정식이 있다. 의 분포를 라고 하자. 그러면 아래를 만족하고 이것을 Instantaneous change of variables formula리 한다. 위의 식에서 입력변수가 stochastic process 로써 는 에 관한 함수로 간주된다. 증명을 해보자. 라는 사실과 log continuity equation을 이용하면! 지금까지 했던것은 Neura ode와 연관있고 neural ode는 flow matching과 관계 있고 flow matching의 응용으로 음성향상에 쓰인 FlowSE [1]가 … Read more
아래와 같은 continuity equation이 있다고 하자. 위의 식을 좀더 전개해보자. 이므로 이것을 contiuity equation에 대입하자. 그러면 이것을 로 나누자. 이것을 다시 정리하면 아래의 논문을 이해하는데 큰 자산이 될것이다. References [1] Lee, S., Cheong, S., Han, S., & Shin, J. W. FlowSE: Flow Matching-based Speech Enhancement. ICASSP 2025. doi:10.1109/ICASSP49660.2025.10888274.
미분 방정식 시간 가 커지는 미분방정식 있다고 하자. 분포를 라고 표현하자. 위의 미분 방정식은 아래와 같은 형태로도 쓸 수 있다. 그러면 의 분포가 라는 얘기죠. Continuity equation은 아래와 같은 식이다. 이 continuity equation을 증명해보자. 주목할점이 있다. 의 표현이다. random vector의 pdf의 change of variable 쓴거라 보면 된다. 일 때 continuity equation 증명을 위하여 … Read more
아래와 같은 continuous normalizing flow (CNF) 를 기술하는 상미분방정식 (ode: ordinary differentail equation)이 있다고 하자. 는 시작점에 대한 분포이다. 이제 $x_t = \psi_t(x)$라 하자. 그리고 $x_t$의 pdf (probability density function)을 $p_t$라고 하자. $p_t$는 pushforward measure이므로 아래와 같이 정의된다. 이제 의 log likelihood인 $\log p_t(x_t)$를 알려고 한다. log-density가 더 맞는 말인것 같기도 하다. 전설의 논문 NeurODE … Read more
신종원 교수 연구팀 플로우 매칭 기반 음성향상 모델의 추론 및 학습 방법을 추가하여 성능 및 속도 개선 광주과학기술원 전기전자컴퓨터공학부 신종원 교수 연구팀은 최근 플로우 매칭 (flow matching) 기반의 음성향상 모델의 속도 및 성능을 개선할 수 있는 학습방법 및 추론방법을 개발하였고 국제 음성신호처리 학회인 Interspeech 2025에 논문을 출간하였다. (논문링크: Speech Enhancement based on cascaded two flows … Read more
Day 1 – Denoising Diffusion Probabilistic Models August 26, 2025 (Tuesday) EECS B205 13:00-15:00 Day 2 – Score-Based Generative Modeling through Stochastic Differential Equations August 27, 2025 (Wednesday) EECS B201 13:00-15:00 Day 3 – Flow matching for generative modeling August 28, 2025 (Thursday) EECS B202 13:00-15:00 Day 4 – FlowSE: Flow Matching-based Speech Enhancement (ICASSP … Read more