2026년 여름을 맞이하여 세미나를 준비한다. flow matching에 대해 다룰려고 한다. flow matching은 생성모델에 쓰인다. ordinary differential equation (ODE)를 활용한 생성모델 기법이고 2023년에 발표된 논문 [1] 이 제일 유명하다. 이 세미나는 flow matching을 이해하고 flow matching의 응용까지 보기 위해 준비한 세미나이다. flow matching의 응용으로 음성분야에서 음성향상에 쓰인 논문 FlowSE [2]가 있다. 응용은 나중에 살펴보도록 하고 flow … Read more
가 random matrix이다. 성립한다. 왜?
아래와 같은 미분방정식이 있다. 의 분포를 라고 하자. 그러면 아래를 만족하고 이것을 Instantaneous change of variables formula리 한다. 위의 식에서 입력변수가 stochastic process 로써 는 에 관한 함수로 간주된다. 증명을 해보자. 라는 사실과 log continuity equation을 이용하면! 지금까지 했던것은 Neura ode와 연관있고 neural ode는 flow matching과 관계 있고 flow matching의 응용으로 음성향상에 쓰인 FlowSE [1]가 … Read more
아래와 같은 continuity equation이 있다고 하자. 위의 식을 좀더 전개해보자. 이므로 이것을 contiuity equation에 대입하자. 그러면 이것을 로 나누자. 이것을 다시 정리하면 아래의 논문을 이해하는데 큰 자산이 될것이다. References [1] Lee, S., Cheong, S., Han, S., & Shin, J. W. FlowSE: Flow Matching-based Speech Enhancement. ICASSP 2025. doi:10.1109/ICASSP49660.2025.10888274.
미분 방정식 시간 가 커지는 미분방정식 있다고 하자. 분포를 라고 표현하자. 위의 미분 방정식은 아래와 같은 형태로도 쓸 수 있다. 그러면 의 분포가 라는 얘기죠. Continuity equation은 아래와 같은 식이다. 이 continuity equation을 증명해보자. 주목할점이 있다. 의 표현이다. random vector의 pdf의 change of variable 쓴거라 보면 된다. 일 때 continuity equation 증명을 위하여 … Read more
아래와 같은 continuous normalizing flow (CNF) 를 기술하는 상미분방정식 (ode: ordinary differentail equation)이 있다고 하자. 는 시작점에 대한 분포이다. 이제 $x_t = \psi_t(x)$라 하자. 그리고 $x_t$의 pdf (probability density function)을 $p_t$라고 하자. $p_t$는 pushforward measure이므로 아래와 같이 정의된다. 이제 의 log likelihood인 $\log p_t(x_t)$를 알려고 한다. log-density가 더 맞는 말인것 같기도 하다. 전설의 논문 NeurODE … Read more
Flow matching에 대해 알아보자. 여러 논문이 나오고 variation이 나오지만 나는 가장 쉬운(?) 버전으로 설명을 해보겠다. Flow matching 기본 세팅 : 아주 쉬운 분포 : data에 관한 분포 Flow matching의 목표 아래와 같은 미분 방정식을 생각하자. 위의 미분 방정식에 의해서 가 만들어진다. 를 바로 윗줄에서 나오는 의 분포라 하자. Flow matching의 목표는 이길 바란다. Flow matching … Read more