딥러닝 관련 기본개념 정리 [2]

다시 공부하는데 새로 배우는 듯한 기분이 드는 것은... 역시 나의 기본이 탄탄하지 못하기 때문이겠지...??ㅠㅠ 활성화 함수 (Activation Function) 활성화 함수란 노드에 입력된 값들을 비선형 함수(선형이 아닌 함수, 즉 직선 하나로 표현할 수 없는 함수)에 통과시킨 후 다음 레이어로 전달할 때 사용하는 함수이다. (선형함수를 사용하면 신경망의 층을 깊게하는 것이 의미가 없다.) 입력 신호를 받아 총합한 후 값을 활성화 또는 비활성화를 결정하는데 사용되는 함수이다. 종류는 아래와 같이 있으며 시간이 지나면서 더 새로운 활성화 함수가 나오고 있기도 하다.(중요한 것 몇가지만 살펴보자.) Sigmoid Function (시그모이드 함수) : 실수 값을 받아 0 ~ +1 사이의 값으로 압축하는 함수이다. Vanishing Gradient (기울기 소실) 문제가 발생할 위험이 있으며 0이 중심값이 아니어서 학습 속도가 느려질 수 있다. 또 exp 연산으로 자원과 시간이 많이...