파이썬 Python 앙상블 랜덤포레스트 배깅 부스팅 / 소프트 하드 보팅 예제

나의 첫 머신러닝 / 딥러닝 책을 기반으로 공부한 내용을 정리해보려고 한다. 다음은 앙상블 실습을 정리한 내용이다. 배깅 (랜덤 포레스트) & 부스팅 개념 bagging & boosting 실습에 앞서, 배깅 개념에 대해 간단히 소개하겠습니다. 배깅은 한 가지 분류 모델을 여러 개 만들어서 서로 다른 학습 데이터로 학습시킨 후(부스트랩), 동일한 테스트 데이터에 대한 서로 다른 예측값들을 투표를 통해(어그리게이팅; 소프트 보팅, 하드보팅) 가장 높은 예측값으로 최종결론을 내리는 앙상블 기법입니다. 여기서, 투표는 한 표당 동일한 효력을 가집니다. 배깅은 과대적합되기 쉬운 모델에 상당히 적합한 앙상블입니다. 따라서 과대 적합되기 쉬운 모델인 의사결정 트리를 배깅을 통해 개선할 수 있습니다. 여러 의사결정 트리를 배깅해서 예측을 실행하는 모델이 랜덤 포레스트 입니다. 추가로, 배깅과 함께 각광 받는 앙상블 기법인 부스팅에 대해서 소개하겠습니다. 부스팅 역시 여러 개의 분류기를 만들어 투...