[코세라 머신러닝] Mini-Batch Gradient Descent 미니 배치 경사하강법

머신러닝 / 딥러닝 기초를 다지고자 coursera에서 Adrew Ng 강사가 진행하는 머신러닝 강의를 수강하게 되었다. 다음은 Large Scale Machine Learning 강의 내용을 정리한 것이다. 저번 포스팅에서는 확률적 경사하강법의 동작방식과 경사하강법보다 확률적 경사하강법이 빠른이유, 두 하강법의 차이점에 대해 알아보았습니다. 이번 포스팅에서는 미니-배치 경사하강법(Mini-Batch Gradient Descent)에 대해 공부합니다. 미니 배치-경사하강법은 때로 확률적 경사하강법보다 조금 더 빠르게 작동할 수 있습니다. Mini-Batch Gradient Descent 미니-배치 경사하강법 우선, 지금까지 배운 알고리즘을 요약해보자. 배치 경사하강법은 각 스텝마다 모든 m개의 학습 예제를 사용한다. 확률적 경사하강법은 각 스텝마다 하나의 학습 예제만을 사용한다. 미니-배치 경사하강법은 두 알고리즘 사이 어딘가에 있다. 미니-배치 경사하강법은 각 스텝마다 b개의 예제...

원문링크 : [코세라 머신러닝] Mini-Batch Gradient Descent 미니 배치 경사하강법