[DNN] Gradient Vanishing, Exploding

---

Gradient Vanishing(기울기 소실) - 깊은 인공 신경망을 학습하다 보면 backpropagation 과정에서 입력층으로 갈수록 gradient가 점차적으로 작아지는 현상이 발생, 입력층에 가까운 층들에서 가중치들이 업데이트가 제대로 되지 않으면 결국 최적의 모델을 찾을 수 없게 되는데 이런 현상을 기울기 소실이라고 한다. Gradient Exploding(기울기 폭주) - 기울기 소실과 반대의 경우로 기울기가 점점 커져서 가중치들이 비정상적으로 큰 값이 되면서 발산된다. 기울기 소실과 기울기 폭주 완화 방법 1. ReLU - 기울기 소실을 완화하는 간단한 방법으로 은닉층의 활성화 함수로 시그모이드나 하이퍼볼릭 탄젠트 함수 대신 ReLU, Leacky ReLU를 사용..........

[DNN] Gradient Vanishing, Exploding에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.

---

---

원문링크 : [DNN] Gradient Vanishing, Exploding