소프트맥스(softmax) 함수 조금 자세히 알아보기

애써 배운걸 까먹을까봐 그러기 전에 적어두는 머신러닝 노트입니다. - 소프트맥스 함수와 소프트맥수 "활성화" 함수(딥러닝에서 쓰는 건 이거) 두개를 모두 다룹니다. 소프트맥스 함수(softmax function)란 간단히 말해서 [10, 27, -38, -9, 6, 12] 같은 형태의 multi-class한 출력값을 보다 "확률적"이고 "정규화스럽게" 통일해주는 함수라고 할 수 있습니다. multi-class한 상황을 위한 함수이므로, 분류(classification) 문제에서 적용하기 적합한 함수라고 할 수 있습니다. 우선, 소프트맥스 함수(softmax function)는 아래와 같이 생겼습니다. 아까처럼, 어떤 입력값이 아래와 같이 [x1, x2, x3, x4...] 처럼 배열의 형태로 주어졌다고 하면, 소프트맥스 함수는 아래와 같습니다. 자연 로그의 밑 e를 밑으로 하는 지수함수 형태이지요. 그럼 도대체 이 자연로그와 자연로그의 밑이 동시에 붙은 소프트맥스 함수는 무엇을 하는...