Normalizing flow 설명

Normalizing flow에 대해 알아보자. Normalizing flow는 어떤 distribution을 알고 싶을 때 사용하는 기법이다. 어떤 상황에서 사용되는지 보자. Normalizing flow 수학적으로 표현하기 랜덤벡터 $\mathbf{X}$가 있을 때 이것의 확률밀도함수 (pdf: probability density function) $p_{\mathbf{X}}(\mathbf{x})$를 추정할 때 Normalizing flow를 적용할 수 있다. 랜덤벡터 $X$가 있을 때 이것의 pdf $p_{X}(x)$를 구하고 싶다. $p_{X}(x)$는 알턱이 없다. 알기가 어렵다. pdf가 알려진 어떤 … Read more

논문리뷰 DALL·E 2 Preview – Risks and Limitations and Lessons learned on language model

Title: DALL·E 2 Preview – Risks and Limitations and Lessons learned on language model safety and misuse Rating: 3.5/5 Summary:   The articles provide valuable information on the utilization of language models such as DALL·E 2, covering topics such as risks, limitations, and ethical considerations. Real-world examples serve as valuable lessons, emphasizing the significance of … Read more

논문리뷰 e-CLIP: Large-Scale Vision-Language Representation Learning in E-commerce

Title: e-CLIP: Large-Scale Vision-Language Representation Learning in E-commerce Rating: 4/5 Summary The article proposes a way to train a computer to understand the language and visual properties of products in e-commerce. A contrastive learning is used with raw product text and images to train large-scale models. The authors shows methods for overcoming domain specific (e-commerce) … Read more

논문리뷰 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com

Title: 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com Rating: 4/5 Summary: The article explains six important lessons that the authors experience while de-veloping 150 machine learning models at Booking.com. They explain each lesson with real world examples and demonstrates it’s important to consider the business, analyze the results, and im-prove the models. … Read more

[GIST 2022 Spring 기계학습 및 딥러닝 HW3] Gaussian Mixture Model, Do detailed derivations of EM algorithm for GMM, in the case of arbitrary covariance matrices.

광주과학기술원 2002 Spring semester 손진희 교수님의 기계학습 및 딥러닝의 Homework 3 문제와 풀이입니다. 틀린내용 있을 수 있으니 너그러히 봐주시면 감사하겠습니다. 문제 시에 곧바로 삭제하겠습니다. Problem 1 Gaussian Mixture Model (100 Points) Gaussian mixture model is a family of distributions whose pdf is in the following form: \begin{align} \text{gmm}(\mathbf{x}) = p(\mathbf{x}) = \sum_{k=1}^{K} \pi_k \mathcal{N}(\mathbf{x}|\mathbf{\mu}_k,\Sigma_k), \end{align} … Read more

Flow matching을 SDE로 해석해서 diffusion, drift term 구하기

요즘 Flow matching을 사용하고 있다. flow matching 논문에서는 t=0에서 쉬운 분포 t=1에서 데이터 분포로 두고 논의를 전개하지만 나는 t=0을 데이터 분포 t=1을 쉬운 분포로 두고 있다. 이렇게 했을 때 proability path의 mean과 covariance를 아래와 같이 만들어 냈다. 나는 speech enhancement를 하고 있기 때문에 아래는 는 clean speech를 의미하고 는 noisy speech 이다. Flow matching 사용하면 … Read more

[딥러닝]최적화 AdaMax 알고리즘

딥러닝 최적화 알고리즘인 AdaMax 에 대해 알려드리겠습니다. AdaMax라는 이름에서 알 수 있듯이 ADAM 에서부터 온 알고리즘입니다. ADAM 에 대해 먼저 이해를 하고 오시길 추천합니다.   AdaMax 알고리즘 $J$는 loss나 score라고 보면 됩니다. 우리가 최적화 하고자하는 변수인 $\theta$에 대한 함수입니다.  $$J = J(\theta)$$ AdaMax 알고리즘은 단순하다. $p>0$라고 하자.  $$v_k[n] = \gamma_1 v_k[n-1] + (1-\gamma_1)\frac{\partial J}{\partial{\theta_k}}$$ $$G_k[n] = … Read more

BBED의 일반적인 transition의 평균과 공분산

논문 Reducing the Prior Mismatch of Stochastic Differential Equations for Diffusion-based Speech Enhancement (github 링크)에서 사용하는 SDE를 BBED(Brownian Bridge with Exponential Diffusion Coefficient) 라고 부른다. BBED는 아래와 같이 생겼다. 여기서 이고 는 noisy speech, 는 clean speech 가 어떻게 변하는지를 나타낸다. 가 주어질 때 BBED를 따르는 state 의 mean과 covariance는 아래와 같다. 여기서 이다. 여기서 … Read more

VC(Vapnik–Chervonenkis) Dimension의 정의와 의미, bound

기계학습은 데이터가 주어졌을 때 데이터와 타겟값 사이의 관계를 어떤 모델 $f$로 표현하는 것이 목적이다. 선형회귀모델, SVM, 의사결정나무 등의 여러모델이 있다. 각각의 모델이 몇개의 데이터까지 구분할 수 있는지? 수많은 데이터를 표현할 수 있는 complexity(혹은 power)를 갖고 있는지를 알면 모델마다 성능차이를 가늠할 수 있고 어떤 모델을 사용할 때 이 모델의 complexity와 한계에 맞게 모델을 사용할 수 있다. … Read more

[딥러닝] 소프트맥스 (Softmax) 의 미분

softmax (소프트맥스) 함수의 미분을 구해보도록 하겠습니다. softmax (소프트맥스)는 딥러닝에서 굉장히 중요한 역할을 하지요. 중요한 것은 알지만 pytorch 로 구현이 잘되어있어서 softmax의 메커니즘을 잘 잊고 살지요. 중요한 것을 되새기기 위해 소프트맥스 함수의 미분을 알아보겠습니다. softmax 함수의 미분? softmax 함수란? K차원을 갖은 벡터 $\mathbf{x} = (x_1,…,x_K)$가 있다고 합시다. 이 변수 $\mathbf{x}$가 입력들어가는 softmax 함수 $S(\mathbf{x})=(s_1 (\mathbf{x}),s_2 (\mathbf{x}),…, s_K (\mathbf{x}))$는 아래와 같이 정의됩니다. $$s_i(\mathbf{x}) = \frac{\exp{x_i} }{ \sum_{j=1}^K \exp{x_j} }$$ softmax 함수의 미분해보자 여기서 $x_k$에 대해 미분을 해보겠습니다. $$\frac{\partial}{\partial x_k} s_i(\mathbf{x}) $$을 구해보겠다는 의미인데요. $s_i(\mathbf{x})$의 분자에 있는 $\exp{x_i}$는 $i = k$이면 관 $x_k$와 관련있는 term 이고 $i \neq k$이면 … Read more