[Pytorch 딥러닝] 9.vanishing gradient / overfitting

https://github.com/rbdus0715/Deep_learning/tree/main/torch-deep-learning Deep_learning/torch-deep-learning at main · rbdus0715/Deep_learning Pytorch 기본 조작 정리 / '모두를 위한 딥러닝' 공부 코드. Contribute to rbdus0715/Deep_learning development by creating an account on GitHub. github.com 이번 챕터에서 다룰 내용은 4가지이다. 활성화함수 ReLU 가중치 초기화 Drop out batch normalization banishing gradient는 back propargation (역전파) 단계에서 구하는 gradient들이 희미해져가는 현상을 의미한다. 가중치와 편향을 잘 업데이트 하기 위해서는 이 gradient 값을이 잘 보존되어야하는데 많은 레이어를 쌓을수록 희미해진다. 또한 모...

원문링크 : [Pytorch 딥러닝] 9.vanishing gradient / overfitting