경사하강법(Gradient descent)

정규방정식에서는 손실함수를 계수에 대하여 편미분한 연립방정식의 양변에 (XTX)-1을 곱하는 방식으로 선형방정식의 계수를 찾았습니다. 하지만 경사하강번에서는 반복적인 작업을 수행하여 계수를 구합니다. 임의의 지점에서 시작하여 기울기를 계산하고, 이를 반영해 점차적으로 계수를 조정해나가는 방법이 경사하강법에 해당합니다.Cost(w)를 wj에 대하여 편미분하면 다음과 같습니다.위 식의 값이 0에 수렴하게 될 때 손실함수는 최솟값을 갖습니다. 우리는 이 기울기에 따라서 선형회귀 계수를 조정할 수 있습니다. 예컨데 위 기울기(Gradient)의 값이 양수라면, 해당 지점이 최적해로부터 양의 방향에 위치한다는 것을 알 수 있습니..........

경사하강법(Gradient descent)에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.

원문링크 : 경사하강법(Gradient descent)