논문리뷰 DALL·E 2 Preview – Risks and Limitations and Lessons learned on language model

Title: DALL·E 2 Preview – Risks and Limitations and Lessons learned on language model safety and misuse Rating: 3.5/5 Summary:   The articles provide valuable information on the utilization of language models such as DALL·E 2, covering topics such as risks, limitations, and ethical considerations. Real-world examples serve as valuable lessons, emphasizing the significance of … Read more

논문리뷰 e-CLIP: Large-Scale Vision-Language Representation Learning in E-commerce

Title: e-CLIP: Large-Scale Vision-Language Representation Learning in E-commerce Rating: 4/5 Summary The article proposes a way to train a computer to understand the language and visual properties of products in e-commerce. A contrastive learning is used with raw product text and images to train large-scale models. The authors shows methods for overcoming domain specific (e-commerce) … Read more

논문리뷰 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com

Title: 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com Rating: 4/5 Summary: The article explains six important lessons that the authors experience while de-veloping 150 machine learning models at Booking.com. They explain each lesson with real world examples and demonstrates it’s important to consider the business, analyze the results, and im-prove the models. … Read more

[GIST 2022 Spring 기계학습 및 딥러닝 HW3] Gaussian Mixture Model, Do detailed derivations of EM algorithm for GMM, in the case of arbitrary covariance matrices.

광주과학기술원 2002 Spring semester 손진희 교수님의 기계학습 및 딥러닝의 Homework 3 문제와 풀이입니다. 틀린내용 있을 수 있으니 너그러히 봐주시면 감사하겠습니다. 문제 시에 곧바로 삭제하겠습니다. Problem 1 Gaussian Mixture Model (100 Points) Gaussian mixture model is a family of distributions whose pdf is in the following form: \begin{align} \text{gmm}(\mathbf{x}) = p(\mathbf{x}) = \sum_{k=1}^{K} \pi_k \mathcal{N}(\mathbf{x}|\mathbf{\mu}_k,\Sigma_k), \end{align} … Read more

[pytorch, 파이토치] 모델의 parameter 학습 안하기

import torch import torch.nn as nn import torch.optim as optim model = … # 모델 정의 for param in model.parameters(): #모델의 모든 parameter 에 대한 gradient 추적 안하게함 param.requires_grad = False 위에 처럼 하면, 모델의 모든 parameter가 학습되지 않는다. 모델의 특정 모듈의 parameter만 업데이트 하고 싶지 않다면 아래와 같은 코드를 사용하자. for param in model.submodule.parameters(): … Read more

증명할 때 필요한 함수 f(x)의 x=a에서 미분에 대한 유용한 정의

함수 $f(x)$가 있다고 합시다. 때때로 함수 $f(x)$의 $x=a$에서 미분을 구하려고 합니다. 과연 미분은 어떻게 정의될까요? 미분을 정의하는 방법에는 여러가지가 있습니다. 가장 기본적으로  극한으로 정의하는 방법이 있습니다. 그런데, 미분의 원래 정의를 이용하면 이것저것 증명하는데에 있어서 불편함이 있습니다. 따라서 저는 미분에 대한 정의를 어떤 함수에 대해 정의해보겠습니다.   미분에 대한 또다른 정의 함수 $f(x)$가 있다고 합시다. 함수 … Read more

이자론 (interest theory), 이자 (interest), 원금 (principal), 종가 (accumulated value), 종가함수 (amount function), 단위종가함수 (accumulation function)

이자론의 기초 인 이자, 원금, 종가, 종가함수, 단위종가함수에 대해 알아보자. 은행과 나의 관계 이자론을 이해하기 위해서는 은행과 나의 관계를 이해하면 쉽다. 나는 은행에 돈을 맡기고 일정시간이 지나면 이자가 쌓인다. 왜일까? 내가 가진 돈을 은행에 묵혀둔다는 것은, 내가 그 돈으로 할 수 있는 것이 줄어서 손해가 날 수 있다. 그리고 은행은 그 돈을 받아서 다른일을 해서 … Read more

[디지털신호처리]Complementary Transfer Functions

complementary transfer functions 에 대해 알아보겠습니다. 디지털 필터뱅크를 만들때 많이 사용되는 개념입니다. 예를들어 아래와 같은 디지털 필터뱅크가 있다고 합시다. Complementary Transfer Functions analysis filter bank와 synthesis filter bank 가 직렬적으로 이어져 있는 시스템이죠. synthesis filter bank 를 어떻게 잡아야 입력신호 $x[n]$과 닮은 친구를 복원할 수 있을까요? Filter $H_k$들로 파헤쳐진 신호들을 다시 모아서 잘 만들기 위해 … Read more

Flow matching을 SDE로 해석해서 diffusion, drift term 구하기

요즘 Flow matching을 사용하고 있다. flow matching 논문에서는 t=0에서 쉬운 분포 t=1에서 데이터 분포로 두고 논의를 전개하지만 나는 t=0을 데이터 분포 t=1을 쉬운 분포로 두고 있다. 이렇게 했을 때 proability path의 mean과 covariance를 아래와 같이 만들어 냈다. 나는 speech enhancement를 하고 있기 때문에 아래는 는 clean speech를 의미하고 는 noisy speech 이다. Flow matching 사용하면 … Read more

[디지털 신호 처리] Polyphase representation

polyphase representation 에 대해 알아보겠습니다. polyphase representation 은 여러 phase로 쪼개서 표현한다고 생각할 수도 있지만요. 그냥 쉽게 생각하면 어떤 신호의 z transform 을 여러개로 쪼개는 작업이라고 보면 되겠습니다. 어떻게 쪼개느냐에 따라 Type 1 polyphase와 Type 2 polyphase로 나뉩니다.   Polyphase 유도 신호 $x[n]$이 있다고 합시다. 이것의 Z transform 을 보겠습니다. $$X(z) = \sum_{n=-\infty}^{n=\infty} x[n] z^{-n} … Read more