딥러닝 모델 학습을 하다보면 이미 성능이 입증된 모델의 부분부분을 따와서 학습하고 싶을 때가 있다. 실제로도 이런 방식을 많이 사용한다. 성능 좋은 모델의 일부를 따와서 그곳의 일부 혹은 전체를 Freezing (동결)한담에 다른 task를 위한 layer 붙히고 학습하는 방법이 있다. 원리자체는 간단한데 이것을 코드로 실현하자고 하니 골치가 아팠다. 그렇지만 검색을 하다보니 파이토치를 이용해 파인튜닝을 하는 방법에 대해 … Read more
Kullback Leibler Divergence (KL 발산, KL Divergence)에 대해 알아보자. Kullback Leibler Divergence 줄여서 KL divergence 혹은 KL 발산에 대해 알아보겠습니다. KL divergence 는 두 분포사이의 차이(discrepancy)에 대한 measure 입니다. 이번 글에서는 KL divergence 의 정의와 KL divergence 의 의미를 알아보도록 하겠습니다. KL divergence 정의 두개의 pdf 혹은 pmf 가 있다고 합시다. 는 가 있는 sample … Read more
이번 글에서는 Knowledge Distillation (이하 KD)에 대해 알아보자. KD (Knowledge Distillation, 지식증류)의 목적 KD는 이미 학습이 된 모델이 갖고 있는 지식을 다른 모델에 전이시키는 방법이다. 그러면 이렇게 물을 수 있다. 이미 학습된 모델을 사용하면 되지 왜 굳이 지식을 전이 시키냐고? 이에 대해서 답변을 해보면 딥러닝 모델이 활약하게 될 환경을 생각해야 겠다. 모델의 크기를 키우고 이런저런 … Read more
Diffusion-Based Generative Speech Source Separation 개선 아이디어에 대해 이번에도 논문 개선 아이디어이다. Diffusion-Based Generative Speech Source Separation [1]에서 사용했던 Drift term 을 좀 더 일반화 할 뿐이다. [1]에서는 forward process를 아래와 같이 정의 했었다. Diffusion-Based Generative Speech Source Separation 에서의 Forward process 개선 아이디어 내가 하고자 하는 것은 SDE 식에 있는 를 상수로 사용하는 것이 … Read more
StoRM: A Diffusion-based Stochastic Regeneration Model for Speech Enhancement and Dereverberation의 핵심을 짚고 추가 아이디어 만들기 논문 StoRM: A Diffusion-based Stochastic Regeneration Model for Speech Enhancement and Dereverberation [1] (줄여서 StoRM)의 기본아이디어를 정리하고 추가적으로 StoRM 에서 제시된 공식들을 검증해보고 좀 더 일반화 해보겠다. StoRM 의 아이디어 StoRM 은 SDE프레임워크 하에서 score based model을 추정 하는 … Read more
1계 선형미분방정식 풀이 방법에 대해 제대로 알아보자. (First Order Linear Differential Equation) 지난 글에서 1계 선형미분방정식 풀이 방법에 대해 알아보았는데, 기호가 별루 맘에 안들었다. 그래서 이번에 제대로 한번 정리해보겠다. 1계 선형미분방정식 형태 1계 선형미분방정식는 아래와 같은 형태를 갖는다. 지난 글에서는 부정적분과 정적분을 구분하고 썼는데, 이번글에서는 구분해서 1계 선형미분방정식의 해를 구하려고 한다. 지난 글()에서 정적분 기호만 … Read more
Linear SDE (선형확률미분방정식, Linear Stochastic Differential Equation)의 전이확률밀도 (Transition PDF)에 대해 알아보겠습니다. 선형확률미분방정식의 transition pdf에 대해 알아보겠습니다. 그러기 위해서는 선형확률미분방정식이 무엇인지부터 알아보겠습니다. 선형미분방정식 (Linear SDE, Linear Stochastic Differential Equation)의 형태 여기서 는 Brownian motion 입니다. 그리고 는 행렬이고요 는 와 크기가 같은 벡터입니다. 선형미분방정식의 Transition PDF 만약에 가 주어져있다면 0에서 t로 갈 때의 의 transition … Read more
Mean and Covariance of Stochastic Differential Equation 확률미분방정식 (SDE, Stochastic Differential Equation)의 Mean과 Covariance를 구해보겠습니다. SDE (Stochastic Differential Equation)의 기본 형태 SDE는 기본적으로 아래와 같은 모습을 가졌지요. 여기서 는 column vector로 구성된 D-차원의 stochastic process 이고 는 D-차원의 Brownian motion입니다. 예시로는 Langevin Dynamics 가 잇습니다. SDE(Stochastic Differential Equation)의 평균(Mean) 과 공분산(Covraince) 아래와 같이 SDE의 평균과 … Read more
Langevin Dynamics Sampling을 하는 이유 Langevin Dynamics sampling이 생성모델에서 자주 보이는 것 같습니다. 왜 Langevin Dynamics Sampling 을 사용하고 있을까요? 아 그전에 Langevin Dynamics sampling이 뭔지부터 봐야겠죠. Langevin Dynamics Sampling이란? 내가 어떤 특정 로 부터 샘플을 생성하고 싶습니다. 그럴 때 아래와 같은 simulation 을 통해 로부터 데이터 샘플을 생성할 수 있습니다. 식 (1)에서 는 평균이 … Read more
연립 1계 선형 미분방정식(Systems of First Order Linear Differential Equations) 풀이 방법 이번 글에서는 연립 1계 선형 미분방정식(Systems of First Order Linear Differential Equations)이 풀리는 경우를 알아보고 그것의 풀이 방법을 알아보겠습니다. 연립 1계 선형 미분방정식에 대해서는 많은 설명이 있으나 이 글을 보는 것을 추천합니다. 연립 1계 선형 미분방정식 풀이 가능한 경우 언제 연립 1계 선형 … Read more