Penalized GLM: Ridge, LASSO, MLE, 그리고 베이지안 통계학

Ridge를 이용하는 이유는 람다를 통해서 전체 모형을 조작할 수 있기 때문이다. 이번에는 Ridge를 사용하는 이유를 재탐구하고, 추가로 찾을 수 있는 LASSO를 찾고, 그곳에서 왜 인공지능이 통계학의 산물인지 알아보도록 하겠다. Ridge의 의의 Ridge에서 가장 중요한 것은 Ridge를 통해 자유도를, 그리고 모형의 복잡도를 조절한다는 것이다. 이를 통해 네가지의 의의를 찾아낼 수 있다. 먼저 해의 최적화를 쉽게할 수 있게 한다. 둘째, 실질적인 모수의 개수를 줄여준다. 셋째, 모형의 단순화를 가져온다. 여기까지는 모형의 복잡도가 줄어든다는 것으로 추정 가능하다. 가장 중요한 마지막 의의는 모형의 예측성을 높여주는 의의이다. 예측성이란 x와 y의 관계를 잘 보여준다는 것을 의미한다. 모형이 복잡할수록 좋은 것이 아닌가? 왜 모형이 단순해지는데 예측성이 증가할까? 설령 그렇다 한들 수식으로 증명가능할까? 이 부분은 AIC나 BIC로 연결되는 부분이기 때문에 매우 중요하다 Ri...