Backpropagation Algorithm

이번 포스팅에서는 Backpropagation algorithm에 대해서 살펴보도록 하겠습니다. Backpropagtion(역전파)은 deep neural network를 학습시키기 위한 알고리즘입니다. 간단히 이야기 하자면 backprop이란 cost function을 통해서 계산된 error를 편미분 하여 앞으로 전파해나가며 각 노드의 weight와 bias의 값들을 갱신해나가는 알고리즘입니다. backprop은 다변수함수의 미분에 사용되는 chain rule을 통해서 진행되기 때문에 벡터 미분과 행렬 미분 포스팅을 참고하시면 좋을것 같습니다.1. Forward Propagation각 노드의 weight와 bias의 값을 갱신해나가기 위해서는 그것들이 초기화 되어 있어야 하며, 계산된 error가 필요합니다. forward..........

원문링크 : Backpropagation Algorithm