[스크랩] 딥러닝 모델 훈련과 배치와의 관계

---

https://www.kakaobrain.com/blog/113 [요약] 배치를 키우면, 전체 데이터셋의 특성을 더 잘 보게 됨. 즉, 전체 데이터를 잘 표현하는 sampling 키우면 1 epoch당 훈련 횟수도 줄어들어서 훈련 소요시간이 적게 듦. 그럼에도, 배치가 크게 되면 최적화/일반화 부분에서 문제가 있을 수 있다. local minimum에 빠져서 잘 못빠져 나오는 등(이걸 개선하기 위해서 lr을 배치사이즈 늘릴때 같이 키운다). 오히려 최적화/일반화 부분에서는 batch 사이즈가 작으면 outlier들의 가중치 업데이트의 편차가 심해져서 local minimum 잘 탈출할 수 있다. 앞선 줄과 같은 맥락 그러나 큰 배치와 미니배치와의 학습 곡선이 유사하게 그려진다면, 큰 배치의 가..........

[스크랩] 딥러닝 모델 훈련과 배치와의 관계에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.

---

---

원문링크 : [스크랩] 딥러닝 모델 훈련과 배치와의 관계