LightGBM 모델 생성과 Hyperparameter

(이번 글은 상당히 뻘글이다. 개인적인 의문과 이를 어느정도 해결한 과정?에 대해 쓴 글.) 회사에서 사용하는 추천 모델이 있었다. 사실 이름은 추천 모델이지만 추천하는 Y값은 정해진 범위 내에서 골랐기 때문에 사실상 더 가까운 것은 분류(Classification) 모델이긴 했다. 실제로 사용한 모델은 부스팅(Boosting) 기반의 LightGBM이었다. 서론과 진행 과정 뭐 내용은 각설하고, 문제는 이 모델이 2019년까지의 데이터로 학습한 모델이기 때문에 최신 데이터로 업데이트할 필요가 있었다. 또한 당시에는 어떤 feature가 정말 중요할지를 판단할 수 없었기 때문에 여러 다양한 파생변수를 생성했기 때문에 분류 구분에 사실상 필요없는 메모리를 잡아먹기도 했다. 2022년까지의 데이터(100억건은 족히 넘는 데이터로 전처리에만 1달 이상이 걸렸다.)를 가지고 null값 제거, Merge 진행 등을 통해 최종 Train/Validation/Test Set을 만들었고 이마저도 ...

원문링크 : LightGBM 모델 생성과 Hyperparameter