deeplearning 에 대해 다룹니다.
Markovian measure와 Reciprocal class의 원소간의 KL divergence에 대해 알아보자. 특정 조건 하에서 KL divergence는 마치 피타고라스 정리가 성립하는 느낌을 준다. 정리해보자. 이라 하자. 일 때 아래가 성립하고 일 때 아래가 성립한다. 출처-Shi, Y., De Bortoli, V., Campbell, A., & Doucet, A. (2024). Diffusion Schrödinger bridge matching. Advances in Neural Information Processing Systems, 36.
Normalizing flow에 대해 알아보자. Normalizing flow는 어떤 distribution을 알고 싶을 때 사용하는 기법이다. 어떤 상황에서 사용되는지 보자. Normalizing flow 수학적으로 표현하기 랜덤벡터 $\mathbf{X}$가 있을 때 이것의 확률밀도함수 (pdf: probability density function) $p_{\mathbf{X}}(\mathbf{x})$를 추정할 때 Normalizing flow를 적용할 수 있다. 랜덤벡터 $X$가 있을 때 이것의 pdf $p_{X}(x)$를 구하고 싶다. $p_{X}(x)$는 알턱이 없다. 알기가 어렵다. pdf가 알려진 어떤 … Read more
Title: DALL·E 2 Preview – Risks and Limitations and Lessons learned on language model safety and misuse Rating: 3.5/5 Summary: The articles provide valuable information on the utilization of language models such as DALL·E 2, covering topics such as risks, limitations, and ethical considerations. Real-world examples serve as valuable lessons, emphasizing the significance of … Read more
Title: e-CLIP: Large-Scale Vision-Language Representation Learning in E-commerce Rating: 4/5 Summary The article proposes a way to train a computer to understand the language and visual properties of products in e-commerce. A contrastive learning is used with raw product text and images to train large-scale models. The authors shows methods for overcoming domain specific (e-commerce) … Read more
Title: 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com Rating: 4/5 Summary: The article explains six important lessons that the authors experience while de-veloping 150 machine learning models at Booking.com. They explain each lesson with real world examples and demonstrates it’s important to consider the business, analyze the results, and im-prove the models. … Read more
광주과학기술원 2002 Spring semester 손진희 교수님의 기계학습 및 딥러닝의 Homework 3 문제와 풀이입니다. 틀린내용 있을 수 있으니 너그러히 봐주시면 감사하겠습니다. 문제 시에 곧바로 삭제하겠습니다. Problem 1 Gaussian Mixture Model (100 Points) Gaussian mixture model is a family of distributions whose pdf is in the following form: \begin{align} \text{gmm}(\mathbf{x}) = p(\mathbf{x}) = \sum_{k=1}^{K} \pi_k \mathcal{N}(\mathbf{x}|\mathbf{\mu}_k,\Sigma_k), \end{align} … Read more
요즘 Flow matching을 사용하고 있다. flow matching 논문에서는 t=0에서 쉬운 분포 t=1에서 데이터 분포로 두고 논의를 전개하지만 나는 t=0을 데이터 분포 t=1을 쉬운 분포로 두고 있다. 이렇게 했을 때 proability path의 mean과 covariance를 아래와 같이 만들어 냈다. 나는 speech enhancement를 하고 있기 때문에 아래는 는 clean speech를 의미하고 는 noisy speech 이다. Flow matching 사용하면 … Read more
딥러닝 최적화 알고리즘인 AdaMax 에 대해 알려드리겠습니다. AdaMax라는 이름에서 알 수 있듯이 ADAM 에서부터 온 알고리즘입니다. ADAM 에 대해 먼저 이해를 하고 오시길 추천합니다. AdaMax 알고리즘 $J$는 loss나 score라고 보면 됩니다. 우리가 최적화 하고자하는 변수인 $\theta$에 대한 함수입니다. $$J = J(\theta)$$ AdaMax 알고리즘은 단순하다. $p>0$라고 하자. $$v_k[n] = \gamma_1 v_k[n-1] + (1-\gamma_1)\frac{\partial J}{\partial{\theta_k}}$$ $$G_k[n] = … Read more
논문 Reducing the Prior Mismatch of Stochastic Differential Equations for Diffusion-based Speech Enhancement (github 링크)에서 사용하는 SDE를 BBED(Brownian Bridge with Exponential Diffusion Coefficient) 라고 부른다. BBED는 아래와 같이 생겼다. 여기서 이고 는 noisy speech, 는 clean speech 가 어떻게 변하는지를 나타낸다. 가 주어질 때 BBED를 따르는 state 의 mean과 covariance는 아래와 같다. 여기서 이다. 여기서 … Read more
기계학습은 데이터가 주어졌을 때 데이터와 타겟값 사이의 관계를 어떤 모델 $f$로 표현하는 것이 목적이다. 선형회귀모델, SVM, 의사결정나무 등의 여러모델이 있다. 각각의 모델이 몇개의 데이터까지 구분할 수 있는지? 수많은 데이터를 표현할 수 있는 complexity(혹은 power)를 갖고 있는지를 알면 모델마다 성능차이를 가늠할 수 있고 어떤 모델을 사용할 때 이 모델의 complexity와 한계에 맞게 모델을 사용할 수 있다. … Read more