High Bias vs. High Variance 진단 / 정규화항 적절한 람다 λ 고르기

머신러닝 / 딥러닝 기초를 다지고자 coursera에서 Adrew Ng 교수가 진행하는 머신러닝 강의를 수강하게 되었다. 다음은 Bias vs Variance 강의 내용을 정리한 것이다. Diagnosing Bias vs. Variance 편향과 편차 진단 Training error와 (cross) Validation error를 다음과 같이 정의하였다. 다항식의 차수 d에 대해서 Jcv(θ) 와 Jtrain(θ)를 그려보면 training error는 d가 커질수록 줄어들지만 cross validation error는 d=2에서 최솟값을 갖는다. 어떤 머신러닝 알고리즘의 성능이 기대한만큼 나오지 않았을 때, 즉 Jcv(θ) 또는 Jtrain(θ)가 클때, 문제가 bias 인지, variance인지 어떻게 판단할 수 있을까? High bias (underfitting)는 Jtrain(θ) 이 크다. 즉, Jcv(θ) ≈ Jtrain(θ) 인 형태를 띤다. 반면 high varianc...

원문링크 : High Bias vs. High Variance 진단 / 정규화항 적절한 람다 λ 고르기