[ 몽총이 파이썬 딥러닝 공부 - 03 ] 신경망 학습/경사하강법 개념

신경망이 학습을 한다는 것은 예측값과 실제값의 오차를 줄이는 최적의 가중치와 편향을 찾는 과정을 말합니다. 그래서 결국엔 오차를 어떻게 찾는지가 중요한데, 이러한 오차를 계산하는 함수를 손실함수(loss function)이라고 부릅니다. 위의 두개의 표는 위의 표는 첫 예측값이고 아래의 표는 첫 예측값에 따른 오차를 찾은 후 다시 예측값을 했을 때의 결과를 임의적으로 표현한 것입니다. 이처럼 오차를 줄일 수 있는 가중치와 편향을 찾는 것이 신경망 학습의 목표 입니다. 일반적으로 손실함수는 두가지로 오차제곱합과 교차 엔트로피 오차를 사용합니다. 원래 기존의 오차 제곱합의 경우 2로 나누는 것을 볼 수 있는데 이것은 추후 경사하강법에서 미분을 하게 되는데 이 부분에서 좀 더 편하게 계산을 하기 위해서 2로 나눠줍니다. ( 오차제곱합은 기존의 평균오차제곱합에서 전체 개수로 나누는 것이 아닌 2로 나눠줍니다. ) 교차 엔트로피는 식을 보면 정답 데이터의 경우면 1이되고 나머지는 0이 됩니다...

원문링크 : [ 몽총이 파이썬 딥러닝 공부 - 03 ] 신경망 학습/경사하강법 개념