Activation function

sigmoid -> tanh -> relu1. ReLu (1) x>0 기울기 1직선 x<0 값이 0, 뉴런 죽일 수 있음 (2) Sigmoid, tanh 비교시 훨씬 학습이 빠르다 (3) 구현이 매우 간단2. Sigmoid (1) Gradient vanishing Gradient backpropagation시 미분값 소실 가능성이 크다 (2) 함수값 중심 ≠ 0 zigzag 같은 부호 = 같은 방향 update 하기 때문3. tanh(Hyperbolic tangent function) sigmoid의 변형으로 만들 수 있음 (1) 중심 = 0 sigmoid 최적화 느려지는 것 해결 (2) 미분함수 소실 가능성 여전히 있음 #ReLu #sigmoid #tanh...

Activation function에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.

원문링크 : Activation function