[자연어처리 논문리뷰] Attention is all you need 리뷰

자연어 처리를 공부하는 사람이라면, 거의 필수적으로 읽어야 하는 논문. 자연어 처리 메커니즘에 혁신적인 변화를 불러일으켰다고 생각함. 그 이후로 나오는 모든 언어 모델들은 결국엔 어텐션 기반으로 하고 있기 때문이다. 어텐션이 어떻게 돌아가는 지도 모른 채로 언어 모델을 공부할 수는 없다. 개인적으론, 그래도 모델 input 순서랑 positional encoding이 되는 순서대로 서술했으면 좋았을 거 같은데, 논문은 그게 아니어서 좀 그랬음. 텍스트 마이닝 배우고 나서 읽은 논문이라 그나마 다행이었는데, 논문의 의도가 궁금해진다. 첨부파일 딥러닝 논문 리뷰(Attention is All you need).hwp 파일 다운로드 1. 초록 어떤 연속적인 순서와 관련된 모델은 Encoder와 Decoder를 쌓아올린 것을 포함한 RNN과 CNN에 기반하고 있음. 가장 성능이 좋은 모델은 Attention Mechanism을 기반으로 Encoder와 Decoder를 쌓아올린 것임. 이 논...