[1주차(화)] 경사하강법

네이버 부스트캠프 AI Tech 3기에 합격을 해서 어제부터 교육을 받기 시작했다. 교육 받으면서 배운 내용을 정리할 곳을 찾아보다가 그냥 옛날에 쓰던 이 블로그를 쓰기로 했다. 몇 년간 방치 후 부활하기를 계속하던 이 블로그가 이번에는 적어도 5개월동안은 살아나게 될 듯하다. 이런 식의 글은 처음 써보는 거라 어떻게 써야할 지 고민이 되었는데, 그냥 형식 신경쓰지않고 그 날 배운 내용 위주로 편하게 일기 쓰듯이 써 봐야겠다. 경사하강법 (gradient descent) 각 점에서 미분 값을 빼면 함수값이 작이지는 방향으로 움직인다. 이 성질을 이용해서 미분값을 빼는 것을 반복하면 극소값의 위치를 찾을 수 있다. 경사하강법 알고리즘을 파이썬 코드로 쓰면 다음과 같다. var = init grad = gradient(var) # gradient : 미분을 계산하는 함수 while(abs(grad) > eps): # eps : 알고리즘 종료조건 var = var - lr*grad # l...

원문링크 : [1주차(화)] 경사하강법