[논문 리뷰] Language Models are Unsupervised Multitask Learners - GPT-2

이번 게시물에서는 GPT-2를 제안한 Language Models are Unsupervised Multitask Learners 논문에 대해 리뷰해보려고 한다. 원문 링크는 다음과 같다. https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf Introduction 이 논문이 작성될 시기의 machine learning system들은 data의 분포와 model이 수행해야 하는 task의 변화에 대해 매우 민감했었다. 또한, 그 당시 machine learning system은 모든 task에서 general하게 좋은 성능을 보여주는 방향이 아닌, 수행해야하는 특정 task에 대해 특화되어있는 모습을 보였다.(원문에..

원문링크 : [논문 리뷰] Language Models are Unsupervised Multitask Learners - GPT-2