딥러닝에서 Relu는 자주 나옵니다. 저번 글에서 딥러닝에서 사용되는 relu함수에 대해 살펴보았죠.(딥러닝 Relu함수의 정의 및 의미) 딥러닝은 사실 미분이 되기 때문에 이렇게 발전했는데요. relu함수의 미분은 무엇일까요? relu함수의 미분에 대해서 살펴보겠습니다.
Relu함수 복습
Relu함수는 아래와 같이 생겼습니다.
$$Relu(x) = \begin{cases} x &\text{ if } x > 0 \\ 0 & \text{ if } x \leq 0 \end{cases}$$
Relu함수 미분을 해보겠습니다.
$x > 0$일 때 $x$이고 $x<0$일 때 0 이므로 미분은 정말 쉽죠. 설명을 안해도 될듯
$$\frac{dRelu(x)}{dx} = \begin{cases} 1 &\text{ if } x > 0 \\ 0 & \text{ if } x \leq 0 \end{cases}$$