[딥러닝 개념 7] 최적화(Optimization) 알고리즘_Gradient Descent, Momentum, AdaGrad, RMSProp, Adam

여기서 다루는 키워드 - 최적화(Optimization) 알고리즘 - 미분 / Gradient(기울기) - Gradient Descent(경사하강법) - Local minimum / Global minimum - Momentum - AdaGrad - RMSProp - Adam 딥러닝에서는 '최적화'하는 것이 중요합니다 오늘은 '최적화'에 대해 다뤄보겠습니다 최적화(Optimization) 가능한 모든 해 중에서 최적의 해를 찾는 것을 의미합니다 목적함수 f(x)에 대해서(여기서는 손실함수를 의미합니다) 목적함수가 최소가 되게 하는 x를 찾는 작업이라고 생각하면 됩니다 최적의 값을 위한 방법으로는 2가지가 있습니다 함수의 형태와 수식을 알 때 사용하는 분석적 방법, 함수의 형태와 수식을 모들 때 사용하는 수치적 방법이 있어요. 1. 분석적 방법(Analytical method) 함수의 전체 형태와 수식을 알 때 사용하는 수치적인 해석방법입니다. 함수의 식을 안다면 미분을 하면 바로 최...

원문링크 : [딥러닝 개념 7] 최적화(Optimization) 알고리즘_Gradient Descent, Momentum, AdaGrad, RMSProp, Adam