[논문 정리] Leveraging Pre-trained Checkpoints for Sequence Generation Tasks (TACL 2020)

안녕하세요.이번 포스팅에서 소개해드릴 내용은 TACL 2020의 Leveraging Pre-trained Checkpoints for Sequence Generation Tasks을 정리한 내용입니다.최근에 text summarization에 대한 논문을 훝어보다가 발견한 논문입니다.한 줄로 정리하자면 Sequence Generation Tasks에서 공개된 Pre-trained language model의 checkpoint를 활용해서(parameter initializing) SOTA를 달성.논문 소개 전.. 얕은 저의 고찰입니다. 비슷한 방법을 이전부터 생각해왔고, 시도해봤지만 실패했던 내용에 대해 '사실은 그렇지 않다'라는 식의 논문이라 읽으면서 놀랍고 부러웠습니다. 2년전 BERT의 등장 이후, 비슷한류의 LM 모델(RoBE..........

원문링크 : [논문 정리] Leveraging Pre-trained Checkpoints for Sequence Generation Tasks (TACL 2020)