ResNet(Residual Network)에 등장하는 Residual Block 의 개념과 왜 'Residual Block'을 사용하는지 알아보겠습니다. 1. Residual Block이란? [Residual Block 등장 배경] 연구자들은 신경망의 층이 깊어질수록 얕은 신경망보다 성능이 뒤떨어진다는 사실을 발견했습니다. (아래 그래프처럼 layer이 더 많은 모델이 training error가 훨씬 심각함을 알 수 있습니다.) 이론적으로는 층이 깊을 수록 성능이 더 좋아진다고 생각했으나, 실상은 그렇지 않았던 것이죠. 그래서 층이 깊어지더라도 앞서 학습한 층들의 정보를 잃지 않으며 성능을 높이기 위해 제시된게 Residual Block 입니다. 다른 자료를 보니 Residual block을 "ski..
원문링크 : Residual Block 개념 및 목적 정리 (feat.ResNet)
네이버 블로그
티스토리
커뮤니티