Hyperparameter Optimization과 모델 경량화

Hyperparameter: Learning rate, Minibatch 사이즈, regularization 계수(L1, L2..), Hidden layer 층수, Convolution layer 사이즈Hyperparameter Optimization: 하이퍼 파라미터 최적화, 학습된 모델의 일반화 성능을 최고/ 최적 수준으로 내기 위해 시행하는 것.최적의 Hyperparameter를 탐색하는 방법1. Manual Search : 개발자의 경험 및 직감으로 여러 차례에 걸쳐 하이퍼파라미터 수정 및 실험으로 결정2. Grid Search : 원하는 하이퍼 파라미터 후보를 선정하고 실험으로 결정 일정 간격 및 범위을 두고 선정하기도 함 -> 균등하게 실험 가능 Manual 방식보다 체계적인 방식3. Random Search : 최대, 최소 범위 내에 무작위 값을 하..........

원문링크 : Hyperparameter Optimization과 모델 경량화