[ML] Gradient Boost Machine

Gradient Boost Machine(GBM) GBM은 부스팅 알고리즘이기에 여러 개의 약한 학습기(weak learner)를 순차적으로 학습- 예측하면서 잘못 예측한 데이터 가중치를 부여를 통해 오류를 개선해 나가면서 학습하는 방식이다. 대표적으로 AdaBoost와 Gradient boost가 있다. AdaBoost의 학습 과정을 그림으로 나타내면 아래와 같다. 먼저 feature data set이 있다. 5개의 +와 4개의 -로 이루어져있다. Step 1이다. 첫 번째 약한 학습기가 분류 기준 1로 +와 -를 분류한다. 동그라미로 표시된 + 데이터는 + 데이터가 잘못 분류된 오류 데이터이다. Step 2는 Step 1에서 찾은 오류 데이터에 대해서 가중치 값을 부여한다. 가중치가 부여된 오류 + 데이터..........

원문링크 : [ML] Gradient Boost Machine