Diffusion seminar (2기, 4회차, 20250711) 후기 (링크)
장소: 광주과학기술원 전기전자컴퓨터 공학부 B동 201호
날짜 및 시간: 2025년 07월 11일, 금요일, 14:30-15:30 (시작시간, 끝나는 시간은 변동 될 수 있어요)
- 다뤘던 내용
- Flow matching [1] 복습
- flow \psi_t(x_t) , vector field v_t (x_t) 란 무엇일까?
- p_t (x_t) 는 못구하니 p_t(x_t|x) 디자인 하는 방법?
- 그에 따라 vector field v_t (x_t |x) , \psi_t(x_t |x) 구하기
- p_t(x_t |x) 가 가우시안 이길 바라고 그에 따라 mean \mu_t(x) , variance \sigma_t^2 를 정하면 된다.
- 참고논문
- Flow matching [1] 복습
- 다음에 할 내용
References
[1] Y. Lipman, R. T. Q. Chen, H. Ben-Hamu, M. Nickel, and M. Le, “Flow matching for generative modeling,” in The Eleventh International Conference on Learning Representations, 2023.
[2] S. Lee, S. Cheong, S. Han, and J. W. Shin, “Flowse: Flow Matching-Based Speech Enhancement,” in Proc. IEEE Int. Conf. Acoust, Speech Signal Process., 2025.
세미나 관련 링크:
Diffusion seminar (2회차, 20250516) 준비
Diffusion seminar (3회차, 20250523) 준비
Diffusion seminar (4회차, 20250530) 준비
Diffusion seminar (2기, 1회차, 20250620) 안내
Diffusion seminar (2기, 1회차, 20250620) 후기
Diffusion seminar (2기, 2회차, 20250627) 안내
Diffusion seminar (2기, 2회차, 20250627) 후기
Diffusion seminar (2기, 3회차, 20250703) 안내
Diffusion seminar 2기 4회차 후기.
지난주에 이어 Flow Matching을 한 번 더 깊이 있게 다루는 시간이었습니다.
첫 세미나에서는 전체적인 흐름을 파악하는 데 중점을 두었다면, 이번에는 관련 논문(예: “Flow Matching guide and code”)의 초반부를 읽고 참여한 덕분에 훨씬 수월하게 내용을 따라갈 수 있었습니다.
– Lipman, Yaron, et al. “Flow matching guide and code.” arXiv preprint arXiv:2412.06264 (2024).
직접 python을 활용하여 Gaussian dist. 로 부터 two-moon dist. 로 변화시키도록 flow-matching 실습을 진행해보았는데, 각 iteration (time step)마다 velocity field가 어떻게 변화하는지 함께 시각화하였습니다.
덕분에 이론만으로 접하던 개념을 직관적으로 볼 수 있어서, 모델이 데이터의 확률분포를 학습해나가는 과정을 더 잘 이해할 수 있게 되었습니다.
끝으로, 저 나름대로 비유를 통해 정리해보았습니다:
flow-matching은 마치 “빠른 물살이 흐르는 계곡 상류에서 색종이 하나를 흘려보냈는데, 하류에 도착하면 정교하게 접힌 종이학이 되도록 만드는 것”과 같다.
– 여기서 계곡 각 지점의 물살은 특정 시간 그리고 위치의 `velocity(vector) field`를 의미하고,
– 종이학을 만들어내기 위한 물살의 세기 그리고 방향을 조절하는 행위가 training 하는 과정이며,
– 계곡의 전체적 형태 그리고 구불거리는 경로를 설계하는 것이 `path design`의 개념으로 생각해보았습니다.