CNN(Convolution Neural Network) 정리 (4)

cross Entropy부터 이어서 설명해보겠습니다! cross Entropy는 실제 확률 분포(target)와 예측 확률 분포(output)가 얼마나 유사한가?에 대한 지표로 활용이 됩니다. 유사하게 KL(Kullback Leibler) Divergence 라는 것이 있습니다. KL Divergence= Hp(q)-H(q) Hp(q): 실제 분포와 예측 분포의 cross entropy H(q): 실제 분포의 엔트로피 KL Divergence가 작으면 작을수록 둘이 유사하고, 반대의 경우에는 차이가 큰 경우입니다. NN에서의 error값을 계산하는 이유는 이를 최소화하고자 함에 있습니다. 즉, KL Divergence를 최소화시켜야겠죠. 여기서 cross entropy와 KL Divergence는 결과적으로 동일한 의미를 가집니다. H(q)가 상수이기..........

원문링크 : CNN(Convolution Neural Network) 정리 (4)