Normalization, Standardization, Regularization

Normalization: scale 범위가 크면 노이즈 데이터 생성 or overfitting 0-255 -> 0-1Standardization: Z-score 같은,, 표준화 확률 변수Regularization: 너무 높은 Complexity 피하기 위한 규제, L1, L2 convolutional layer 사이에 쓰는 relu 같은 느낌Q. normalization을 왜하는가? 1. 하면 -1~1로 크기 비슷하게 해야 치우치지 않고 학습함 -> ReLu, sigmoid로도 되는데? -> 0~255이미지라면, 255에 가까우면 무조건 1이라고 할듯 2. 안하면 backprop 할때 오차 영향 있음 3. 하면 input이 batch norm으로 통일할 수 있음 4. 안하면 learning rate 작게해서 학습해줘야 실패안함 5. 학습할 때 다른 (Ex. activation) 함수들도 -1..........

원문링크 : Normalization, Standardization, Regularization