[머신러닝/딥러닝] 17. 딥러닝 알아가기 - 경사하강법 Gradient Descent 학습율 학습률 Learning Rate 편미분 chain rule 연쇄법칙 체인룰 손실함수

지난 시간에 우리는 순전파, 역전파, 비용함수(Cost Function)와 손실함수(Loss Function) 등에 대해 알아봤습니다. https://blog.naver.com/dorergiverny/223261551062 [머신러닝/딥러닝] 16. 딥러닝 알아가기 - 활성화 함수 Activation 시그모이드 tanh Leaky ReLU 역전파 backpropagation 손실함수 크로스 엔트로피 우리는 지난 시간에 활성화 함수를 설명하면서 신경망에 왜 비선형 함수를 추가해야 하는지에 대해 알아봤... blog.naver.com 이번 시간에는 역전파(Back Propagation)에서 가장 중요한 경사하강법에 대해 알아보겠습니다. 1. 미분, 편미분 - 일반적으로 수학에서는 변수가 1개인 함수를 다루지만 딥러닝에서는 다변수 함수를 주로 다루게 됩니다. 다른 변수에 영향을 받지 않는 변수를 독립변수, 영향을 받는 변수 를 종속변수라고 하는데, 함수값을 결정할 때 2개 이상의 독립변수...

원문링크 : [머신러닝/딥러닝] 17. 딥러닝 알아가기 - 경사하강법 Gradient Descent 학습율 학습률 Learning Rate 편미분 chain rule 연쇄법칙 체인룰 손실함수