연립방정식의 관점에서 본 회귀: Ridge 회귀의 도출

이번에는 연립방정식의 관점에서 시작하겠다. 위 식의 근은 A/b일 것이다. 만일 x가 행렬이라면 x의 수만큼의 근이 있다. 이는 중학교때 배운 것이다. 문제는 A가 0이 되는 경우 등이 있다. 이때, 단순히 x가 무수히 많다고 하고 끝내는가? 연립 방정식의 해가 무수히 많을 때 모든 문제는 여기서 출발한다. Ax=b의 해가 무수히 많을 때, 현실에서는 무수히 많은 근 중에 하나를 골라서 가져오라고 할 것이다. 이번에도 유사하게 하나의 대안을 선택하는 방식을 알아보겠다. c'x를 최대화 하기 위해 Ax=b라는 제약식을 가져왔다. 이거 어디서 많이 본 것 같지 않은가? 경영과학에서 평생 하는 것이 위와 같은 식을 푸는 것이다. 여기서는 c'라는 새로운 목적을 찾아내야 한다. 혹은 위 처럼 새로운 감마를 찾아낼 수도 있다. 요는 새로운 것을 찾아내야 한다는 것이다. 이를 일반화 할 수 있을까? 일반적으로 근이 무수히 많고 새로운 것이 필요하지 않을 때, 즉, 무수한 근 중에 대표값을 찾고...