deeplearning 에 대해 다룹니다.
Diffusion model에서 perturbation kernel이 closed form을 가질 충분조건에 대해 알아보자. 이 글을 읽기 전에 아래 글을 읽고 오길 추천한다. SDE(Stochastic Differential Equation)를 활용한 Diffusion model에 대하여 Diffusion model의 score 학습 방법 Diffusion model에서 DSM (Denoising Score Matching) loss를 사용하는 이유에 대해 SDE (Stochastic Differential Equation)의 Perturbation Kernel 아래와 같은 SDE가 있다고 하자. 이 SDE를 이용해서 … Read more
Diffusion model에서 DSM (Denoising Score Matching) loss를 사용하는 이유에 대해알아보자. 이 글을 읽기전에 아래 글을 숙지해오길 바란다. SDE(Stochastic Differential Equation)를 활용한 Diffusion model에 대하여 Diffusion model의 score 학습 방법 Diffusion model의 목적 Diffusion model에서는 각 시점 에 대한 의 score 를 score model 를 이용해서 추정하는 것을 목적으로 한다. 실제로 다뤄야 하는 loss, SM (score … Read more
본 게시글은 혁펜하임의 <Easy! 딥러닝> 책의 리뷰어 활동으로 작성되었습니다. 안녕하세요. 이번에는 딥러닝 책 한권 추천하겠습니다. 제가 추천하고자하는 딥러닝 책은 혁펜하임님의 Easy! 딥러닝입니다. 말그대로 쉬워보이는 딥러닝 책입니다. 책의 표지는 아래와 같습니다. 혁펜하임의 “Easy! 딥러닝” 책 추천! 혁펜하임님을 알게된것이 4~5년전인가요. 신호처리 공부하다가 알게되었습니다. 유튜브에서 신호 및 시스템 강의를 아주 기가 막히게 하시는 모습을 보고 믿게되었고 딥러닝, … Read more
Diffusion model의 score 학습 방법에 대해 알아보자. 디퓨전 모델에 대한 설명은 이 글을 참고하면 되겠다. 잠시 중요한 개념을 복습하고 넘어가자. Forward SDE (Forward SDE)는 데이터 분포를 따르는 random vector 를 에서부터 까지 옮기며 노이즈를 추가해줘서 노이즈화 시키는 식이다. 여기서 drift term f와 diffusion term g를 설정하는 방식에 따라 노이즈를 추가하는 규칙이 달라진다. Reverse SDE (Reverse … Read more
SDE(Stochastic Differential Equation)를 활용한 Diffusion model에 대하여알아보자. Diffusion model은 그냥 디퓨전 모델이라고 불러보자. 디퓨전 모델? 디퓨전 모델이란 무엇일까? Data sample 가 있다고 하자. 는 어떤 분포 를 따를 것이다. 는 데이터 분포의 pdf(probability density function)정도로 해두자. 디퓨전 모델은 x를 변형하고 가우시안 노이즈를 더해서 데이터 분포가 잡음이 많이 끼게 만든다. 데이터를 잡음으로 만들었으니 반대의 과정인 잡음에서 … Read more
Markovian measure와 Reciprocal class의 원소간의 KL divergence에 대해 알아보자. 특정 조건 하에서 KL divergence는 마치 피타고라스 정리가 성립하는 느낌을 준다. 정리해보자. 이라 하자. 일 때 아래가 성립하고 일 때 아래가 성립한다. 출처-Shi, Y., De Bortoli, V., Campbell, A., & Doucet, A. (2024). Diffusion Schrödinger bridge matching. Advances in Neural Information Processing Systems, 36.
Normalizing flow에 대해 알아보자. Normalizing flow는 어떤 distribution을 알고 싶을 때 사용하는 기법이다. 어떤 상황에서 사용되는지 보자. Normalizing flow 수학적으로 표현하기 랜덤벡터 $\mathbf{X}$가 있을 때 이것의 확률밀도함수 (pdf: probability density function) $p_{\mathbf{X}}(\mathbf{x})$를 추정할 때 Normalizing flow를 적용할 수 있다. 랜덤벡터 $X$가 있을 때 이것의 pdf $p_{X}(x)$를 구하고 싶다. $p_{X}(x)$는 알턱이 없다. 알기가 어렵다. pdf가 알려진 어떤 … Read more
Title: DALL·E 2 Preview – Risks and Limitations and Lessons learned on language model safety and misuse Rating: 3.5/5 Summary: The articles provide valuable information on the utilization of language models such as DALL·E 2, covering topics such as risks, limitations, and ethical considerations. Real-world examples serve as valuable lessons, emphasizing the significance of … Read more
Title: e-CLIP: Large-Scale Vision-Language Representation Learning in E-commerce Rating: 4/5 Summary The article proposes a way to train a computer to understand the language and visual properties of products in e-commerce. A contrastive learning is used with raw product text and images to train large-scale models. The authors shows methods for overcoming domain specific (e-commerce) … Read more
Title: 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com Rating: 4/5 Summary: The article explains six important lessons that the authors experience while de-veloping 150 machine learning models at Booking.com. They explain each lesson with real world examples and demonstrates it’s important to consider the business, analyze the results, and im-prove the models. … Read more