Instantaneous Change of Variables (ICOV) formula의 의미 부피의 관점에서 알아보자. ICOV는 loglikelihood가 divergence의 -에 의해 결정된다고 했다. divergence는 공간이 퍼지는 건데 공간이 작아져야 (divergence가 0보다 작아야) 응축되니까 밀도가 높아지는 식을 ICOV에서 봤다. 그러면 이제? 부피변화율의 로그는 divergence를 따른다가 ICOV의 부피의 관점에서다 Instantaneous Change of Variables (ICOV) formula의 의미 부피의 관점에서 Instantaneous Change of Variables (ICOV) … Read more
continuity equation은 알게되었다. 그러면 실제 경로에 따라 likelihood값이 변할텐데 이값에 대한 방정식은? log likelihood를 미분하면 divergence가 나오는 형태다. log likelihood가 증가한다는 것은 vt에 의해 확장하는 반대방향에 대응된다. 확장하는 것의 반대는 응축되는것인데 응축되니까 밀도가 단단해 지니까 그에 대응하는 pt가 늘어나는 것으로 보이네? 증명은 초간단 Instantaneous Change of Variables (ICOV) formula의 의미 부피의 관점에서 Instantaneous Change … Read more
continuity equation에 대해 알아보자. flow는 PF ode에 의해 구성된다. 그러면 이 flow에 따라 시간에 따라 변형이 생긴다. 각 시점 t에서의 pdf가 있다고 할대 이 pdf의 변화는 미분방정식으로 표현가능한데 pt와 벡터필드를 곱한것의 divergence 로써 표현된다. 그렇다넹 ? 어떤 공간에 ptvt라는 벡터필드가 작용할대 그것에 의해 발산하는 정도가 pt의 변화와 같다. 어찌보면 직관적이기도? Instantaneous Change of Variables … Read more
flow matching에서 flow는 0에서 t로가는 함수들로만 생각을 하는데 사실은 0에서 t로 가는 것이 0에서 m으로 갔다가 m에서 t로 가는 이런 합성함수로 보일 수 있다. Instantaneous Change of Variables (ICOV) formula의 의미 부피의 관점에서 Instantaneous Change of Variables (ICOV) formula와 증명 continuity equation에 대해 알아보자. flow matching flow에 대한 고찰? flow는 flow의 합성
지난 글들을 생각해보자. flow matching에서는 vector field를 학습하려고 했다. [2026년 여름 세미나] Flow matching과 그것의 응용 mean flow에서는 vector field의 적분값의 평균을 배우려고 했다. Meanflow에 관한 정리 Meanflow에서 target구하는 거 정정 mean flow를 학습하는데 있어서 jacobian vector product를 구해야 한다는 점이 있었다. 어떤 논문 [1]을 읽다가 다른 방법을 소개받았다. shorcut model [2]에서부터 시작한것이다. jacobian vector … Read more
지난 글에서 meanflow를 소개하면서 target도 소개했었다. Meanflow에 관한 정리 그런데 틀린 부분이 있다. t에 관해 미분하는데 미분을 덜한부분이 있다. 다시 썼다.
Meanflow에 대해 정리해보자. 사진으로 정리하였다. 수식보다는 말로 정리하자. flow matching이라 하면 간단한 분포로부터 데이터 분포로 보낼 수 있는 probability flow ode를 설계 하고 학습하는 것이다. 결국에는 적분을 해야 하는 것이다. 적분을 하기 위해서 vector field를 학습해야 한다. 맞죠? 학습을 할때는 특정 시점마다 vector field 배우는것이 flow matching이다. 그런데! Mean flow란 무엇일까? 적분을 하기 위한 … Read more
2026년 여름을 맞이하여 세미나를 준비한다. flow matching에 대해 다룰려고 한다. flow matching은 생성모델에 쓰인다. ordinary differential equation (ODE)를 활용한 생성모델 기법이고 2023년에 발표된 논문 [1] 이 제일 유명하다. 이 세미나는 flow matching을 이해하고 flow matching의 응용까지 보기 위해 준비한 세미나이다. flow matching의 응용으로 음성분야에서 음성향상에 쓰인 논문 FlowSE [2]가 있다. 응용은 나중에 살펴보도록 하고 flow … Read more
FROM nvidia/cuda:12.1.1-cudnn8-devel-ubuntu22.04 ENV DEBIAN_FRONTEND=noninteractive ENV PYTHONUNBUFFERED=1 ENV PIP_NO_CACHE_DIR=1 RUN apt-get update && apt-get install -y \ python3 python3-pip python3-dev \ git wget curl vim tmux \ build-essential cmake ninja-build \ libsndfile1 libsndfile1-dev ffmpeg \ && rm -rf /var/lib/apt/lists/* RUN python3 -m pip install –upgrade pip setuptools wheel RUN pip3 install \ torch==2.1.2 \ torchvision==0.16.2 \ … Read more
가 random matrix이다. 성립한다. 왜?