딥러닝 Relu함수의 정의 및 의미


딥러닝에서는 많은 activation 을 사용합니다. 많은 역사가 있는데요. 최근에 제일 많이 사용되는 activation function 은 Relu이더라고요. 이번 글에서는 Relu함수에 대해 살펴보겠습니다. 그리고 Relu함수의 미분에 대해서는 나중에 알아보도록 하고요. 지금부터 Relu함수의 정의에 대해 알아보겠습니다.

Relu함수의 정의

relu함수는 아래와 같습니다.

$$Relu(x) = \begin{cases} x, &\text{ if } x > 0 \\ 0, &\text{ if } x \leq 0 \end{cases}$$

Relu 함수의 의미

$x$의 값이 0 보다 클때는 그대로 흘러주고 0보다 작을 때는 무시하는 형태입니다.

Leave a Comment