[ 몽총이 파이썬 딥러닝 공부 - 04 ] 오차역전파법 개념

오차역전파법을 하기위해서는 계산그래프라는 개념을 알아야합니다. 위처럼 나타낸 것이 계산 그래프입니다. 계산그래프를 나타내는 큰 이유는 이해를 쉽게 하기 위해서 입니다. 계산그래프의 특징은 '국소적 계산'을 할 수 있다는것이 가장 큰 특징입니다. 국소적 계산은 전체 계산과 상관없이 자신과 관계된 정보만으로 결과를 출력할 수 있습니다. 즉, 계산을 단순화시켜 쉽게 계산을 볼 수 있습니다. 하지만 가장 중요한 이유는 역전파할때 '미분'을 통해 효율적으로 계산할 수 있다는 점입니다. 기존의 계산들은 다 순전파로만 계산을 했고, 순전파는 말그대로 그냥 순서대로 계산(?) 했다고 생각하면 되고 그것의 역으로 계산하는 과정을 역전파입니다. 이것은 위의 계산을 역전파로 계산한 결과를 보여줍니다. 기본적인 역전파를 보기 위해 덧셈노드와 곱셈노드의 역전파를 직접 계산과정을 만들어봤습니다. 역전파의 제일 중요한 부분은 Chain Rule 입니다. 이 부분은 그렇게 어렵지 않기 때문에 따로 넣지는 않았습...

원문링크 : [ 몽총이 파이썬 딥러닝 공부 - 04 ] 오차역전파법 개념