softplus의 특징에 대해 알아보자.
softplus에 대해서는 아래 글에서 확인할 수 있다.
softplus는 아래와 같이 정의되고요
softplus(x) = \ln (1+e^x)첫번째 특징 x \in \mathbb{R} 가 뭐든 간에 softplus(x) \geq 0
두번째 특징 x 가 엄청크면 e^x\approx e^x+1 이므로 softplus(x) \approx \ln(e^x) = x ,
세번째 특징 e^x 는 폭발적으로 커지지만 softplus(x) 는 선형적으로증가