[TensorFlow] Transformer 모델 만들기

시작하기 전에.. 참조 : https://www.tensorflow.org/text/tutorials/transformer https://arxiv.org/abs/1706.03762 https://wikidocs.net/31379 해당 원어 예제는 Transformer를 활용하여 포르투갈어를 영어로 번역해보는 것입니다. 원어 예제에서는 데이터셋 불러오기, 토크나이저 학습 등을 모두 다루지만 이 블로그 글에서는 Transformer와 직접적으로 관련되지 않은 내용들은 다루지 않았습니다. 개요 Transformer 모델의 핵심 아이디어는 "self-attention"입니다. "self-attention"은 입력 받은 sequence의 각 원소를 어떤 수치로 표현(representation)할지를 결정할 때 해당 sequence의 다양한 위치의 값들을 상황에 맞게 주목하여 결정하는 능력을 의미합니다. Transformer 모델은 RNN이나 CNN 대신 self-attention ...

원문링크 : [TensorFlow] Transformer 모델 만들기