[딥러닝 개념 3] 활성함수(Activation Function) _ 계단함수, Tanh, Sigmoid, Softmax, ReLU, Leaky ReLU, ELU, ReLU6

여기서 다루는 내용의 키워드 - 활성함수(Activation Function) - 비선형성(non-linear) - 계단함수 - Tanh - Sigmoid - Softmax - ReLU - Leaky ReLU - ELU, ReLU6 꼭 알아야 할 중요한 개념 중 하나가 바로 활성함수(Activation Function)입니다 계산된 최종값을 실제 결과로 출력할 때 얼마나 활성화시킬지 또는 활성화시킬지 말지 여부를 정해주는 역할을 합니다 활성함수는 퍼셉트론의 출력에 의미를 부여해주고 여러 layer(층)을 쌓았을 때 비선형(non-linear)성을 부여하는 함수입니다 만약에 활성함수를 사용하지 않는다면? 하나의 층을 지나면 wx+b 형태의 결과가 나오게 됩니다 그 다음 층에서는 이전층의 결과가 입력으로 들어가서 가중치가 곱해지고 bias가 더해집니다 그 다음층에서도 같은 과정이 반복되겠죠 활성함수 없이 이 과정이 반복되면 결국 ax+b 형태의 하나의 선형함수가 되어버립니다 열심히 층을...

원문링크 : [딥러닝 개념 3] 활성함수(Activation Function) _ 계단함수, Tanh, Sigmoid, Softmax, ReLU, Leaky ReLU, ELU, ReLU6