2. 딥러닝 기초(optimization, regulation, learning rate)

Tensorflow — Neural Network Playground Tinker with a real neural network right here in your browser. playground.tensorflow.org 여기서 코드 만지는 일 없이 neural network를 돌려볼 수 있다. 노드, 레이어의 개수, 데이터의 종류 등을 바꿔가면서 모델을 만들어볼 수 있고, 가중치를 직접 확인해볼 수 있으며 시각적으로 모델이 잘 만들어졌는지 확인해볼 수 있다. 더 완전한 모델을 만들기 위해 무엇을 해야 할까? 일단 최적화 알고리즘(optimization algorithm)이 있다. 대표적으로 SGD(stochastic gradient descent)가 있는데, batch 단위로 기울기를 계산하여 가중치를 업데이트하는 방법이다. 두 번째로 적합한 Learning rate를 찾아야 한다. 출처 https://www.jeremyjordan.me/nn-learning-rate/ lea...

원문링크 : 2. 딥러닝 기초(optimization, regulation, learning rate)