Diffusion seminar (2기, 3회차, 20250703) 후기

1 thought on “Diffusion seminar (2기, 3회차, 20250703) 후기”

1. Diffusion seminar 2기 #3. flow matching 후기

   오늘 진행된 디퓨전 세미나에서는 생성 모델의 한 종류인 flow matching의 기본 원리와 핵심 아이디어를 학습하였습니다.
   Flow matching은 간단한 정규분포를 실제 데이터 분포로 변환하기 위해 벡터 필드를 ODE로 모델링하는 접근법입니다.
   하지만 데이터 분포로 이동하는 경로에 대한 벡터 필드를 직접적으로 추정하기는 어렵다는 문제가 있다는 것을 확인하였고, 이를 해결하기 위한 Conditional flow matching에 대해 살펴보았습니다.

   CFM은 데이터 샘플과 노이즈를 연결하는 조건부 경로를 정의하여, 원래의 문제를 학습 가능한 형태로 바꿔 해결할 수 있도록 하였습니다.
   구체적으로는 데이터 샘플(\(x_1\))과 가우시안 노이즈(\(x_0\)) 사이를 보간하는 경로 \(x_t = (1 – t)x_0 + t x_1\)를 상정하고, 이 경로를 따라 올바른 벡터 필드를 모델이 예측하도록 학습합니다.
   또한, 경로의 평균(\(\mu_t\))과 분산(\(\sigma_t\))을 어떻게 설계하느냐에 따라 모델의 표현력이 달라지고, 최종 성능에도 어느정도 영향을 미친다는 점을 확인할 수 있었습니다.
   앞으로는 Flow Matching의 다양한 변형 기법들도 함께 살펴보고자 합니다.

   응답