Batch Normalization vs Layer Normalization 정의, 장단점 비교

이번 글에서는 딥러닝에서 많이 활용되는 대표적인 성능 개선 기법인 배치 정규화와 레이어 정규화에 대해서 정의와 장단점을 비교해보도록 하겠습니다. 먼저, batch size = 3인 빨강, 파랑, 초록 데이터가 아래와 같이 A, B, C, D라는 4개의 feature의 값들로 구성되어 있는 상황을 가정해보도록 하겠습니다. Batch Normalization 정의 배치 정규화는 각 feature에 대하여 mini-batch 내의 평균, 분산을 구해서 정규화를 진행해주는 방법입니다. 위 그림의 데이터에 적용한 예시는 다음과 같습니다. 각 feature에 대한 평균과 분산 값들을 이용하여 기존 값 x를 새로운 값 y로 정규화를 해줍니다. (각 layer를 통과한 값마다 적용이 가능합니다.) (ε은 분산이 0이라..

원문링크 : Batch Normalization vs Layer Normalization 정의, 장단점 비교