Extreme Gradient Boosting (XGB) 이해

Extreme Gradient Boosting (XGB)는 머신러닝에서 자주 활용되는 알고리즘 중 하나이다. XGB는 기존의 gradient boosting (GB) 알고리즘에 비해 빠르고, 정확하게 학습할 수 있다 [Chen et al., 2016, XGBoost: A Scalable Tree Boosting System]. 이러한 장점으로 다양한 분야에서 적용되고 있다. 먼저 Gradient Boosting (GB) 모델에서 모델의 예측값은 구성된 다양한 예측기들이 도출한 결과를 종합하여 이루어진다. 예측기에는 Decision Tree (DT) 방법이 주로 활용된다. K 개의 DT가 있다고 할 때, 입력된 변수의 값에 따라 각 DT는 값을 예측한다. 그림에서 첫 번째 DT는 800을 예측하고, K 번째 DT는 582를 예측한다. 최종 모델의 예측 값은 이를 모두 더하여 계산한다. (다양한 예측기, 분류기 들의 값을 결합하여 결과를 도출하는 방법을 Ensemble 방법 중 Boos...

원문링크 : Extreme Gradient Boosting (XGB) 이해