Sigmoid와 Softmax

인공지능에서 Sigmoid함수와 Softmax는 자주 사용된다. 하지만 이것들이 어떠한 의미를 가지는가? Sigmoid함수와 Odds Odds는 p/(1-p)라고 쓸 수 있다. 비해당 경우에 대한 해당 경우의 비율을 의미한다. 반대로 비율은 전체 중에서 해당하는 정도를 의미한다. p/(1-p)에 로그를 씌우면 log(p/(1-p))가 된다. odds는 d로 쓸 수 있으며 때문에 위의 식을 log(d)라고 쓸 수 있다. log(d)는 로짓 함수라고 다시 쓴다. 로그의 오즈 함수를 로짓함수라고 하는데, 로짓함수라는 말은 그리 유명한 말이 아니다. 위와 같이 생긴 것이 로짓함수이다. 이를 역함수를 취해보자. 위 식이 바로 로짓함수의 역함수이고, 이 식은 로지스틱 함수이다. 한번 로짓함수를 식으로 역함수로 만들어보자. 핵심은 마지막 줄이다. 마지막 줄이 로지스틱 함수이며 인공지능에서는 sigmoid라고 한다. 그리고 오즈가 이항분포에서 왔다는 것을 생각해본다면 sigmoid함수 또한 이항분...

원문링크 : Sigmoid와 Softmax