[코세라 머신러닝] 확률적 경사하강법 Stochastic Gradient Descent Convergence 수렴 여부 확인 학습률

머신러닝 / 딥러닝 기초를 다지고자 coursera에서 Adrew Ng 강사가 진행하는 머신러닝 강의를 수강하게 되었다. 다음은 Large Scale Machine Learning 강의 내용을 정리한 것이다. 앞선 포스팅에서 확률적 경사하강법 알고리즘에 대해서 공부하였습니다. 그런데, 확률적 경사하강법 알고리즘이 완전히 수렴했는지는 어떻게 알 수 있을까요? 답은 경사하강법 알고리즘과 마찬가지로 학습률 α를 조절하는 것입니다. 이번 포스팅에서는 경사하강법 알고리즘이 제대로 작동하고, 수렴하는지를 확인하기 위해 α를 결정하는 몇가지 방법을 알아보겠습니다. Checking for convergence Stochastic Gradient Descent 확률적 경사하강법의 수렴 여부 확인 배치 경사하강법을 사용할 때 알고리즘이 수렴하는지 확인하는 가장 기본적인 방법은 반복 횟수를 함수로 하는 최적화 비용함수를 도식화 하는 것이다. 확률적 경사하강법의 핵심은 매 스텝마다 전체 학습 set을 계...

원문링크 : [코세라 머신러닝] 확률적 경사하강법 Stochastic Gradient Descent Convergence 수렴 여부 확인 학습률