Transfer Learning : 업스트림, 다운스트림 태스크 / 다운스트림 태스크 학습 방식

자연어 처리에서 널리 쓰이고 있는 모델인 BERT, GPT에 대해 본격적으로 공부하기 전에 Transfer Learning 개념에 대해 정리하려고 합니다. ** 본 포스팅은 PC에 최적화 되어있습니다. ** Transfer Learning 이란? 업스트림 / 다운스트림 태스크 다운스트림 태스크 학습 방식 3가지 1. Transfer Learning 트랜스퍼 러닝이란 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법입니다. 우리가 새로운 지식을 접했을 때 이미 알고 있는 지식을 통해 쉽게 이해할 수 있는 것과 같은 이치입니다. 트랜스퍼 러닝을 이용하면 학습 속도가 빨라지고, 새로운 태스크를 더 잘 수행하는 경향이 있습니다. BERT와 GPT에도 트랜스퍼 러닝이 적용되어 있습니다. 2. 업스트림 / 다운스트림 태스크 위에서 트랜스퍼 러닝을 "특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법"이라고 했는데요. 특정 태스크(먼저 학습한 태스크)를 업스트림 태스크...

원문링크 : Transfer Learning : 업스트림, 다운스트림 태스크 / 다운스트림 태스크 학습 방식