[DNN] 매개변수 최적화, SGD, Momentum, AdaGrad, Adam

---

밑바닥부터 시작하는 딥러닝 책을 보고 혼자 정리 한 내용입니다. 6장에서는 신경망 학습의 핵심 개념들을 본다. 가중치 매개변수의 최적값을 탐색하는 최적화 방법, 가중치 매개변수 초깃값, 하이퍼파라미터 설정, 오버피팅 대응책인 가중치 감소와 드롭아웃도 본다. 매개변수 갱신 신경망 학습의 목적은 손실 함수의 값을 최소로 하는 매개변수를 찾는 것이다. 이는 곧 매개변수 최적값을 찾는 문제이고 이러한 문제를 푸는 것이 최적화(optimization)이다. 지금까지 최적의 매개변수 값을 찾는 단서로 매개변수의 기울기를 이용했다. 매개변수의 기울기를 구해서 기울어진 방향으로 매개변수 값을 갱신하는 일을 반복해서 최적의 값에 다가갔..........

[DNN] 매개변수 최적화, SGD, Momentum, AdaGrad, Adam에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.

---

---

원문링크 : [DNN] 매개변수 최적화, SGD, Momentum, AdaGrad, Adam