다차원(Multi dimensional) 위너프로세스 (Wiener process)

다차원(Multi dimensional) 위너프로세스 (Wiener process)에 대해 알아보자. 다차원(Multi dimensional) 위너프로세스 (Wiener process)에 대해 알아보겠습니다. 다차원 위너프로세스는 무엇일까요? 위너프로세스는 브라운 운동 (Brownian Motion)이라고도 불립니다. 일차원 위너프로세스에 대해서는 이미 알아봤었죠.(위너프로세스) 이번에는 다차원 (Multi dimensional) 위너과정 (Wiener process)에 대해 알아보겠습니다. Multi-dimensional Wiener process Diffusion matrix 가 다차원 위너과정은 다음을 만족하는 벡터로 구성된 확률과정 입니다. 에 대하여 에 대하여 … Read more

위너 프로세스 (Wiener process), 브라운 운동 (Brownian motion)

위너 프로세스 (Wiener process) 혹은 브라운 운동 (Brownian motion)에 대해 알아보겠습니다. 위너 프로세스는 확률적인 움직임을 모델링하기 위해 정의된 확률과정입니다. 굉장히 많이 사용되니까요 알아보도록 합시다. 위너 프로세스 (Wiener process)의 정의 위너 프로세스 는 아래의 네가지 조건을 만족하는 stochastic process를 의미합니다.   에 대하여 에 대하여 는 독립입니다. 는 t에 관한 함수로 볼 때 t에 관해 연속입니다.

[Pytorch]파이토치, 파인튜닝 (Fine tuning)

딥러닝 모델 학습을 하다보면 이미 성능이 입증된 모델의 부분부분을 따와서 학습하고 싶을 때가 있다. 실제로도 이런 방식을 많이 사용한다. 성능 좋은 모델의 일부를 따와서 그곳의 일부 혹은 전체를 Freezing (동결)한담에 다른 task를 위한 layer 붙히고 학습하는 방법이 있다. 원리자체는 간단한데 이것을 코드로 실현하자고 하니 골치가 아팠다. 그렇지만 검색을 하다보니 파이토치를 이용해 파인튜닝을 하는 방법에 대해 … Read more

Kullback-Leibler Divergence (KL divergence) 의 정의와 의미

Kullback Leibler Divergence (KL 발산, KL Divergence)에 대해 알아보자. Kullback Leibler Divergence 줄여서 KL divergence 혹은 KL 발산에 대해 알아보겠습니다. KL divergence 는 두 분포사이의 차이(discrepancy)에 대한 measure 입니다. 이번 글에서는 KL divergence 의 정의와 KL divergence 의 의미를 알아보도록 하겠습니다. KL divergence 정의 두개의 pdf 혹은 pmf 가 있다고 합시다. 는 가 있는 sample … Read more

Knowledge Distillation (지식증류) 에 대한 간단한 설명

이번 글에서는 Knowledge Distillation (이하 KD)에 대해 알아보자. KD (Knowledge Distillation, 지식증류)의 목적 KD는 이미 학습이 된 모델이 갖고 있는 지식을 다른 모델에 전이시키는 방법이다. 그러면 이렇게 물을 수 있다. 이미 학습된 모델을 사용하면 되지 왜 굳이 지식을 전이 시키냐고? 이에 대해서 답변을 해보면 딥러닝 모델이 활약하게 될 환경을 생각해야 겠다. 모델의 크기를 키우고 이런저런 … Read more

[논문 개선 아이디어] Diffusion-Based Generative Speech Source Separation

Diffusion-Based Generative Speech Source Separation 개선 아이디어에 대해 이번에도 논문 개선 아이디어이다. Diffusion-Based Generative Speech Source Separation [1]에서 사용했던 Drift term 을 좀 더 일반화 할 뿐이다. [1]에서는 forward process를 아래와 같이 정의 했었다. Diffusion-Based Generative Speech Source Separation 에서의 Forward process 개선 아이디어 내가 하고자 하는 것은 SDE 식에 있는 를 상수로 사용하는 것이 … Read more

[논문식 유도 및 추가 아이디어] StoRM: A Diffusion-based Stochastic Regeneration Model for Speech Enhancement and Dereverberation

StoRM: A Diffusion-based Stochastic Regeneration Model for Speech Enhancement and Dereverberation의 핵심을 짚고 추가 아이디어 만들기 논문 StoRM: A Diffusion-based Stochastic Regeneration Model for Speech Enhancement and Dereverberation [1] (줄여서 StoRM)의 기본아이디어를 정리하고 추가적으로 StoRM 에서 제시된 공식들을 검증해보고 좀 더 일반화 해보겠다. StoRM 의 아이디어 StoRM 은 SDE프레임워크 하에서 score based model을 추정 하는 … Read more

1계 선형미분방정식의 초기값을 고려한 정확한 풀이 방법!

1계 선형미분방정식 풀이 방법에 대해 제대로 알아보자. (First Order Linear Differential Equation) 지난 글에서 1계 선형미분방정식 풀이 방법에 대해 알아보았는데, 기호가 별루 맘에 안들었다. 그래서 이번에 제대로 한번 정리해보겠다. 1계 선형미분방정식 형태 1계 선형미분방정식는 아래와 같은 형태를 갖는다. 지난 글에서는 부정적분과 정적분을 구분하고 썼는데, 이번글에서는 구분해서 1계 선형미분방정식의 해를 구하려고 한다. 지난 글()에서 정적분 기호만 … Read more

선형확률미분방정식 (Linear SDE)의 전이확률밀도 (Transition pdf)

Linear SDE (선형확률미분방정식, Linear Stochastic Differential Equation)의 전이확률밀도 (Transition PDF)에 대해 알아보겠습니다. 선형확률미분방정식의 transition pdf에 대해 알아보겠습니다. 그러기 위해서는 선형확률미분방정식이 무엇인지부터 알아보겠습니다. 선형미분방정식 (Linear SDE, Linear Stochastic Differential Equation)의 형태 여기서 는 Brownian motion 입니다. 그리고 는 행렬이고요 는 와 크기가 같은 벡터입니다. 선형미분방정식의 Transition PDF 만약에 가 주어져있다면 0에서 t로 갈 때의 의  transition … Read more

확률미분방정식(SDE) 의 평균(Mean) 과 공분산(Covariance), stochastic differential equation

Mean and Covariance of Stochastic Differential Equation 확률미분방정식 (SDE, Stochastic Differential Equation)의 Mean과 Covariance를 구해보겠습니다. SDE (Stochastic Differential Equation)의 기본 형태 SDE는 기본적으로 아래와 같은 모습을 가졌지요. 여기서 는 column vector로 구성된 D-차원의 stochastic process 이고 는 D-차원의 Brownian motion입니다. 예시로는 Langevin Dynamics 가 잇습니다. SDE(Stochastic Differential Equation)의 평균(Mean) 과 공분산(Covraince) 아래와 같이 SDE의 평균과 … Read more