[PyTorch] optim

torch.optim은 다양한 최적화 알고리즘을 구현하는 패키지이다. optimizer는 최적화 함수라고도 하고 경사하강법을 적용해서 오차를 줄이고 최적의 가중치와 편차를 근사하게 하는 역할을 한다. 그중 가장 기본적인 것이 Stochastic gradient descent, SGD이다. SGD는 한 번에 들어오는 데이터의 수대로 경사하강법 알고리즘을 적용하는 최적화 함수이다. Parameter - params : 파라미터 그룹을 정의하거나 최적화하기 위한 파라미터의 반복 기능, 즉 모델의 파라미터를 넣어주면 된다. - Ir : learning rate의 약자이다. - momentum : 기본 값이 0인 momentum factor이다. - weight_decay : 가중치 감소로 기본 값이 0이다. - dampening : momen..........

원문링크 : [PyTorch] optim