(NIN) Network in Network

Network in Network 논문은 AlexNet 다음 년에 나온 논문으로, 이후 나온 모델들에 널리 사용되는 두 가지 아이디어를 소개했습니다. 간단한 내용이므로 소개 위주로 리뷰하도록 하겠습니다. 1. mlpconv layer AlexNet은 conv layer 뒤에 nonlinear한 활성화 함수인 ReLU가 뒤따라 나오는 구조를 가졌습니다. 논문의 저자는 활성화 함수 대신 모든 receptive field에서 공유되는 fc layer를 통해 최적의 활성화 함수를 근사할 수 있도록 설계했습니다. 위와 같이 nxn conv 뒤에 두 번의 fc layer가 따라오는 구조를 가집니다. 이는 nxn conv를 지난 feature map에 1x1 conv를 두 번 적용하는 것과 같습니다. 1x1 conv가 좋음을 보인 논문인 것이죠. 이후 VGGNet이나 GoogLeNet 논문에서도 NIN을 언급하며 1x1 conv를 사용한 것으로 알고 있습니다. 2. Global Average P...

원문링크 : (NIN) Network in Network