[DNN] 가중치의 초깃값 Xavier,He 초기화

---

밑바닥부터 시작하는 딥러닝 책을 보고 정리한 내용입니다. 가중치의 초깃값 신경망 학습에서 중요한 것이 가중치의 초깃값이다. 가중치의 초깃값을 무엇으로 설정하느냐가 신경망 학습의 성패가 가르는 일이 실제로 자주 발생한다. 이번 파트는 권장 초깃값에 대해서 책에서 설명한다. 초깃값을 0으로 하면? 오버피팅을 억제해 범용 성능을 높이는 기술인 Weight Decay(가중치 감소) 기법이다. 가중치 감소는 가중치 매개변수의 값이 작아지도록 학습하는 방법이다. 가중치 값을 작게 하여 오버피팅이 일어나지 않게 하는 것이다. 가중치를 작게 만들고 싶으면 초깃값도 최대한 작은 값에서 시작하는 것이 정공법 지금까지 가중치 초깃값은 0.01..........

[DNN] 가중치의 초깃값 Xavier,He 초기화에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.

---

---

원문링크 : [DNN] 가중치의 초깃값 Xavier,He 초기화