[머신러닝/딥러닝] 18. Optimizer 종류 최적화 경사하강법 Adam RMSprop 학습률 Stochastic GD mini batch Momentum AdaGrad

우리는 지난 시간에 간단한 미분(변화량)에 대한 정의와 경사하강법, 그리고 chain rule과 learning rate에 대해 알아봤습니다. https://blog.naver.com/dorergiverny/223265936610 [머신러닝/딥러닝] 17. 딥러닝 알아가기 - 경사하강법 Gradient Descent 학습율 학습률 Learning Rate 편미분 chain rule 연쇄법칙 체인룰 손실함수 지난 시간에 우리는 순전파, 역전파, 비용함수(Cost Function)와 손실함수(Loss Function) 등에 대해 ... blog.naver.com 이번에는 학습 모델의 손실함수(loss function)의 최소값을 찾아가는 과정인 최적화(Optimization) 방법들에 대해 알아보겠습니다. 지난 시간에 경사하강법에 대해 알아봤는데, 경사하강법은 가중치 파라미터들을 최적화하기 위해 사용됩니다. 1. 경사 하강법 (Gradient Descent) - 경사 하강법은 Loss ...

원문링크 : [머신러닝/딥러닝] 18. Optimizer 종류 최적화 경사하강법 Adam RMSprop 학습률 Stochastic GD mini batch Momentum AdaGrad