Sung Kim - Deep learning lacture(4)

Lec 12 RNN Sequence data 형식 : 자연어, 음성, 시계열 등... 여기서 fw는 모든 RNN 셀에 같은 함수가 적용이 된다. 근데 우리가 좋아하는 모습은 아니다. Wx 이런 형식을 좋아하는데, 각각의 weight를 만들어줍니다. 그리고 activation function인 tanh를 사용한다. y에도 계산된 ht에다가 weight를 곱하여 출력한다. Whh, Wxh, Why는 모든 RNN에 동일하게 적용이 된다.? 예시로는 Character-level language model이 나온다. softmax 형식으로 출력이 되는데, 1. input h로 output e가 출력이 되고, 2. 출력된 e가 다음 input으로 사용되고 l 이 출력이 되고, 3. 출력된 l 이 다음 input으로 사용된다. 4. 반복... 이러한 방식으로 RNN이 작동..........

원문링크 : Sung Kim - Deep learning lacture(4)