Attention is All you Need, 트랜스포머

나 불러쪙?? 트랜스포머는 본래 자연어 처리에서 주로 사용되던 딥러닝 아키텍처 중 하나이다. 기존에 활용되었던 RNN, LSTM 등이 트랜스포머로 대체되었고, 이제는 자연어 부분을 넘어 이미지 처리와 같은 영역에서도 큰 힘을 발휘하고 있다. 전세계를 휩쓸고 있는 트랜스포머에 대해 알아보자. 트랜스포머와 관련해서 가장 기본이 되고 유명한 논문인 Attention is All you Need를 기반으로 글을 쓰겠다. Abstract We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being mo...

원문링크 : Attention is All you Need, 트랜스포머