[1주차(수)] 딥러닝 학습방법 이해하기

소프트맥스 연산 소프트맥스(softmax) 함수는 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산이다. 분류 문제를 풀 때 선형모델롸 소프트맥스 함수를 결합하여 예측한다. 그러나 추론을 할 때는 소프트맥스를 사용하지 않고 원-핫 벡터로 최대값을 가진 주소만 1로 출력하는 연산을 사용한다. 활성함수 (activation function) 활성함수는 R 위에 정의된 비선형함수이다. 활성함수를 쓰지 않으면 딥러닝은 선형모형과 차이가 없다. 시그모이드 함수, tanh 함수, ReLU 함수 등이 있는데 딥러닝에서는 ReLU 함수를 많이 쓰고 있다. 신경망, MLP 신경망은 선형모델과 활성함수를 합성한 함수이고, 다층 퍼셉트론(MLP)은 신경망이 여러층 합성된 함수이다. 가중치 행렬을 통한 선형 변환과 활성함수를 통한 비선형 변환을 반복하게된다. 이론적으로는 2층 신경망으로도 임의의 연속함수를 근사할 수 있지만 층이 깊을수록 목적함수를 근사하는 데 필요한 뉴런(노드)의 숫자가 줄어들어 좀...

원문링크 : [1주차(수)] 딥러닝 학습방법 이해하기