모든 곳에 잘 맞는 모델은 없다는 No Free Lunch 정리

자연은 평균으로 회귀하는 속성이 있다. 프랜시스 골턴 No Free Lunch Theorem, 그대로 직역하면 "공짜 점심은 없다"라는 정리에 따르면 모든 상황에서 가장 잘 맞는 모델은 없다 [1]. XGBoost 모델은 일반적으로 다른 머신러닝 모델에 비해 성능이 좋다. 따라서, 어떤 문제를 해결해야 할 때, XGBoost 모델을 우선 적용해 보는 것은 합리적일 수 있다. 다른 모델에 비해 성능이 좋다고 기대할 수 있기 때문이다. 그러나, 공짜 점심은 없다는 정리는 이 기대는 틀리다고 말한다. 모든 모델을 가능한 모든 문제에 대해 적용하면 평균적인 성능은 동일하다고 주장한다. 즉, 모든 문제에서 다른 알고리즘 혹은 모델들을 뛰어넘는 최적의 모델은 없다. 문제를 해결할 때 당연히 XGBoost가 좋을 줄 알고 그냥 적용했다가 성능이 계속 나오지 않아서 당황한 적이 있다. 성능이 좋지 않다면 해당 모델이 문제에 적합한 알고리즘이 아니거나, 문제에서 적용한 데이터에 오류가 존재할 수 있...

원문링크 : 모든 곳에 잘 맞는 모델은 없다는 No Free Lunch 정리