다음 단어를 생성하는 방법

이번에는 어텐션 seq2seq가 테스트 타임에서 다음 단어를 예측해낼 때 사용할 수 있는 기법들이 어떤 것들이 있는지 살펴보겠습니다. Greedy decoding 단어를 예측하는그때 그때마다 시점에서 가장 스코어가 높은 것을 생성하는 알고리즘입니다. 알고리즘을 공부해보셨던 분들이라면 그리디 알고리즘은 최적회가 아니라는 것을 알 것입니다. 비록 그때 그 상황에서만의 최고 좋은 값을 선택했지만 전체적으로 봤을 때는 어울리지 않는 문장이 생성될 수도 있습니다. "안녕하세요 저는 자연어처리를 공부하고 있습니다."를 영어로 번역하는 것을 예로 들어보겠습니다. 이 문장의 정상적인 번역 문장은 "hello I'm studing natural language processing"입니다. 만약 그리디 디코딩을 사용했을 때 한 단어라도 예측을 잘못하면 어떻게 될까요? 1. hello __ 2. hello I __ 3. hello I'm __ 4. hello I'm a __ 그 다음부터는 이상한 문장이...

원문링크 : 다음 단어를 생성하는 방법