[딥러닝 개념 8] MLP가 많은 데이터들을 학습하는 '진짜' 방법_SGD, Mini-batch, Epoch

여기서 다루는 키워드 - SGD(Stocastic Gradient Descent) - Mini-Batch - Epoch - Batch Size - Batch Gradient Descent 지금까지 신경망이 학습하는 방법을 살펴봤습니다 최적화 과정에서 Gradient Descent 방법을 사용하지요 그런데 GD라는 말은 거의 안쓰이고 SGD라는 단어를 더 많이(대부분 이 단어) 등장합니다 그 이유는 데이터의 양과 관련이 있습니다 신경망을 학습시킬 때는 굉장히 많은 데이터를 사용합니다 수천 수만 또는 그 이상일 때도 있지요 신경망 학습에 이 많은 데이터를 한번에 학습시킬까요? 한번에 모든 데이터를 학습시키면 한번에 끝나니까 이득이 아니냐! 싶지만 이 방법은 매우매우 비효율적입니다 지금까지의 예시처럼 3-4개의 데이터가 전체라면 한번에 계산하는 것이 이득입니다 그렇지만 수만개의 데이터를 한번에 연산시키면 너무 많은 연산이 필요하게 되어 컴퓨팅 문제가 발생합니다 그.래.서. 이 많은 데이터...

원문링크 : [딥러닝 개념 8] MLP가 많은 데이터들을 학습하는 '진짜' 방법_SGD, Mini-batch, Epoch