[딥러닝이 말하는 영상인식 - 3] 경사하강법(Gradient Descent Algorithm) (2)

미니 배치 경사하강법 앞 포스팅에서 말씀드린 BGD와 SGD의 문제들을 절충한 방법이 바로 Mini-Batch 단위 Gradient Descent Algorithm입니다. 전체 data를 mini-batch라고 부르는 임의의 샘플 단위로 묶어, 나눠서 학습하는 방법입니다. 즉, 전체 문제가 100개(batch가 100)이나, 이것을 20개씩 mini-batch로 나누어서 학습을 진행하는 것입니다. 1회분씩(20문제씩) 풀고 채점 및 학습을 합니다. 추가로 2,3,4,5회까지 풀어나가고 회차가 끝날 때마다 채점 및 학습을 하는 것이죠. 5회까지 다 풀고 나면 문제 순서를 바꾸고 모의고사를 재구성해서(stochastic) 다시 풉니다. 이렇게 하면 앞에서 언급한 batch gradient descent의 학습 편향 문제..........

원문링크 : [딥러닝이 말하는 영상인식 - 3] 경사하강법(Gradient Descent Algorithm) (2)