다차원 이토적분에 대해 알아보겠습니다. 다차원 이토적분에 대해 알아보겠습니다. 일차원에 대한 이토적분 (Ito integration)에 대해서는 지난 글 에서 알아봤습니다. 이제 다변수 stochastic process 에 대한 이토 적분을 알아보겠습니다. 다차원 이토적분 (Multi dimensional Ito integration) 다차원 이토적분에 대해 알아보겠습니다. 다차원 이토적분은 다차원 위너프로세스에 대해 정의됩니다. 다차원 위너 프로세스 (Multi dimensional Wiener process) 아래와 같이 다차원 위너프로세스가 있다고 … Read more
Ito integration 에 대해 알아보자. Ito integration에 대해 알아보겠습니다. Ito integration 은 한글로 이토적분이라고 합니다. 이토적분은 무엇일까요? 이토적분은 Wiener process를 이용해 정의한 적분입니다. 이번글에서는 이토적분의 정의를 함 보도록 하겠습니다. Ito Integration 를 Wiener process 라고 합시다. 1차원 Wiener process 라고 합시다. 그리고 stochastic process 가 있다고 합시다. 이토적분은 어떻게 정의할까요? 만약에 [0,t]에서 이토적분을 하고 싶다면 … Read more
L2 convergence of Random Vector에 대해 알아보자. 안녕하세요. 확률벡터(Random vector)의 L2 수렴에 대해 알아보겠습니다. 지난 글에서 확률변수의 L2 convergence에 대해 알아봤었는데요. 확률벡터의 L2 convergence 에 대해서 알아보겠습니다. L2 convergence 확률벡터 로 구성된 수열 이 있다고 합시다. 이 때 아래와 같은 조건을 만족하는 확률벡터 가 있다고 하면 가 로 수렴한다고 정의합니다. 식을 잘보면 이 수렴한다는 것을 … Read more
확률변수(Random variable)의 L2 convergence (L2 수렴)에 대해 알아보자 확률변수의 수렴 중 L2 convergence (L2 수렴)에 대해 알아보겠습니다. 극한의 수렴얘기할 여러 얘기를 할 수 있지만 Random variable 에 대해서는 제곱의 평균을 이용해서 수렴을 정의하곤 합니다. 굉장히 쉬운 개념이니까 한번 따라 가 볼게요. Random variable 의 L2 convergence 를 확률변수로 구성된 sequence라고 합시다. 그러면 아래를 만족하는 … Read more
다차원(Multi dimensional) 위너프로세스 (Wiener process)에 대해 알아보자. 다차원(Multi dimensional) 위너프로세스 (Wiener process)에 대해 알아보겠습니다. 다차원 위너프로세스는 무엇일까요? 위너프로세스는 브라운 운동 (Brownian Motion)이라고도 불립니다. 일차원 위너프로세스에 대해서는 이미 알아봤었죠.(위너프로세스) 이번에는 다차원 (Multi dimensional) 위너과정 (Wiener process)에 대해 알아보겠습니다. Multi-dimensional Wiener process Diffusion matrix 가 다차원 위너과정은 다음을 만족하는 벡터로 구성된 확률과정 입니다. 에 대하여 에 대하여 … Read more
위너 프로세스 (Wiener process) 혹은 브라운 운동 (Brownian motion)에 대해 알아보겠습니다. 위너 프로세스는 확률적인 움직임을 모델링하기 위해 정의된 확률과정입니다. 굉장히 많이 사용되니까요 알아보도록 합시다. 위너 프로세스 (Wiener process)의 정의 위너 프로세스 는 아래의 네가지 조건을 만족하는 stochastic process를 의미합니다. 에 대하여 에 대하여 는 독립입니다. 는 t에 관한 함수로 볼 때 t에 관해 연속입니다.
딥러닝 모델 학습을 하다보면 이미 성능이 입증된 모델의 부분부분을 따와서 학습하고 싶을 때가 있다. 실제로도 이런 방식을 많이 사용한다. 성능 좋은 모델의 일부를 따와서 그곳의 일부 혹은 전체를 Freezing (동결)한담에 다른 task를 위한 layer 붙히고 학습하는 방법이 있다. 원리자체는 간단한데 이것을 코드로 실현하자고 하니 골치가 아팠다. 그렇지만 검색을 하다보니 파이토치를 이용해 파인튜닝을 하는 방법에 대해 … Read more
Kullback Leibler Divergence (KL 발산, KL Divergence)에 대해 알아보자. Kullback Leibler Divergence 줄여서 KL divergence 혹은 KL 발산에 대해 알아보겠습니다. KL divergence 는 두 분포사이의 차이(discrepancy)에 대한 measure 입니다. 이번 글에서는 KL divergence 의 정의와 KL divergence 의 의미를 알아보도록 하겠습니다. KL divergence 정의 두개의 pdf 혹은 pmf 가 있다고 합시다. 는 가 있는 sample … Read more
이번 글에서는 Knowledge Distillation (이하 KD)에 대해 알아보자. KD (Knowledge Distillation, 지식증류)의 목적 KD는 이미 학습이 된 모델이 갖고 있는 지식을 다른 모델에 전이시키는 방법이다. 그러면 이렇게 물을 수 있다. 이미 학습된 모델을 사용하면 되지 왜 굳이 지식을 전이 시키냐고? 이에 대해서 답변을 해보면 딥러닝 모델이 활약하게 될 환경을 생각해야 겠다. 모델의 크기를 키우고 이런저런 … Read more
Diffusion-Based Generative Speech Source Separation 개선 아이디어에 대해 이번에도 논문 개선 아이디어이다. Diffusion-Based Generative Speech Source Separation [1]에서 사용했던 Drift term 을 좀 더 일반화 할 뿐이다. [1]에서는 forward process를 아래와 같이 정의 했었다. Diffusion-Based Generative Speech Source Separation 에서의 Forward process 개선 아이디어 내가 하고자 하는 것은 SDE 식에 있는 를 상수로 사용하는 것이 … Read more