아래와 같은 미분방정식이 있다. 의 분포를 라고 하자. 그러면 아래를 만족하고 이것을 Instantaneous change of variables formula리 한다. 위의 식에서 입력변수가 stochastic process 로써 는 에 관한 함수로 간주된다. 증명을 해보자. 라는 사실과 log continuity equation을 이용하면! 지금까지 했던것은 Neura ode와 연관있고 neural ode는 flow matching과 관계 있고 flow matching의 응용으로 음성향상에 쓰인 FlowSE [1]가 … Read more
미분 방정식 시간 가 커지는 미분방정식 있다고 하자. 분포를 라고 표현하자. 위의 미분 방정식은 아래와 같은 형태로도 쓸 수 있다. 그러면 의 분포가 라는 얘기죠. Continuity equation은 아래와 같은 식이다. 이 continuity equation을 증명해보자. 주목할점이 있다. 의 표현이다. random vector의 pdf의 change of variable 쓴거라 보면 된다. 일 때 continuity equation 증명을 위하여 … Read more
라는 것이 있다고 하자. 는 feature dimension, 은 token 갯수이다 token은 정하기 나름인데 한문장에서 그 문장을 구성하는 단어의 갯수 정도로 생각하자. 개의 token이 어떤 관계에 있는지 보기 위해 attention을 사용한다. 아래와 같이 아주 간단히 표현된다.
Interspeech 2025 후기 및 논문 공유 Generalizable Audio Deepfake Detection via Hierarchical Structure Learning and Feature Whitening in Poincaré sphere 이성규_interspeech2025_report_20250905
[논문리뷰세미나] Balanced Multimodal Learning via On-the-fly Gradient Modulation [ppt] [발표자료.`23.01.13]이성규_Balanced Multimodal Learning via On-the-fly Gradient Modulation
[논문리뷰세미나] Evidential Deep Learning to Quantify Classification Uncertainty [pdf] 이성규_Evidential Deep Learning to Quantify Classification Uncertainty.pdf [ppt] 이성규_Evidential Deep Learning to Quantify Classification Uncertainty.pptx
Ensemble knowledge distillation of self-supervised speech models 요약 논문 정보 논문 제목: Ensemble Knowledge Distillation for Self-Supervised Speech Models 저자: Kuan-Po Huang, Tzu-hsun Feng, Yu-Kuan Fu, Tsu-Yuan Hsu, Po-Chieh Yen, Wei-Cheng Tseng, Kai-Wei Chang, Hung-yi Lee 논문 요약 이 논문은 음성 관련 self-supervised learning (SSL) model 인 HuBERT, RobustHuBERT 그리고 WavLM 을 동시에 이용하여 knowledge … Read more
softmax (소프트맥스) 함수의 미분을 구해보도록 하겠습니다. softmax (소프트맥스)는 딥러닝에서 굉장히 중요한 역할을 하지요. 중요한 것은 알지만 pytorch 로 구현이 잘되어있어서 softmax의 메커니즘을 잘 잊고 살지요. 중요한 것을 되새기기 위해 소프트맥스 함수의 미분을 알아보겠습니다. softmax 함수의 미분? softmax 함수란? K차원을 갖은 벡터 $\mathbf{x} = (x_1,…,x_K)$가 있다고 합시다. 이 변수 $\mathbf{x}$가 입력들어가는 softmax 함수 $S(\mathbf{x})=(s_1 (\mathbf{x}),s_2 (\mathbf{x}),…, s_K (\mathbf{x}))$는 아래와 같이 정의됩니다. $$s_i(\mathbf{x}) = \frac{\exp{x_i} }{ \sum_{j=1}^K \exp{x_j} }$$ softmax 함수의 미분해보자 여기서 $x_k$에 대해 미분을 해보겠습니다. $$\frac{\partial}{\partial x_k} s_i(\mathbf{x}) $$을 구해보겠다는 의미인데요. $s_i(\mathbf{x})$의 분자에 있는 $\exp{x_i}$는 $i = k$이면 관 $x_k$와 관련있는 term 이고 $i \neq k$이면 … Read more
시그모이드 (sigmoid) 함수에 대해 알아보겠습니다. 시그모이드 (sigmoid)함수는 딥러닝에서 굉장히 많이 사용되는 함수입니다. 이번 글에서는 시그모이드의 식을 정의하고 시그모이드 (sigmoid)함수가 무엇인지 살펴보도록 하겠습니다. 시그모이드 함수에 대해 우리모두 알아봅시다.! 집중해주세요 여러분들 시그모이드 (Sigmoid)함수 알아보자 시그모이드 (sigmoid)함수에 대해 알아보겠습니다. 너무나도 쉽습니다. 그래서 누군가 이렇게 시그모이드(sigmoid)함수에 대한 영상을 만들어놨습니다. 여러분들 시그모이드 (sigmoid)함수에 대한 영상을 보세요. 이 영상이 이해 되신다면 … Read more