[coursera 머신러닝 강의] Feature scaling 정규화 학습률

머신러닝 / 딥러닝 기초를 다지고자 coursera에서 Adrew Ng 강사가 진행하는 머신러닝 강의를 수강하게 되었다. 다음은 Gradient Descent in Practice 강의 내용을 정리한 것이다. Feature Scaling Feature Scaling 이란, Feature 들의 크기, 범위를 정규화 시켜주는 것을 의미한다. Feature Scaling은 아래의 예처럼 0~2000, 0~5 처럼 범위 차이가 많이 날 때 시행한다. x_0가 0~2000, x_1이 0~5의 범위를 갖고 있다면, 각각의 x_0와 x_1을 x_0/(2000-0), x_1/(5-0)을 통해 0~1 사이의 값으로 조정한다. 모든 feature가 비슷한 범위에 있으면 경사 하강법에서 수렴하는 속도를 빠르게 하는데 도움이 된다. 첫 번째 그림처럼 타원 모양으로 범위가 존재한다면 여기저기 방향을 바꿔가며 최솟값으로 수렴하지만, 두 번째 그림처럼 feature가 비슷한 범위에 있어서 범위가 원을 이룬다면...