[Pytorch] 신경망 모델 웜 스타팅 Warm-starting from old one after model reconstruction

안녕하세요.이번 포스팅에서 소개해드릴 내용은 신경망 모델의 warm-starting 방법입니다. 정확하게는 기존 모델 A에 새로운 모듈 α를 추가하여 새로운 모델 B ( = A + α) 구축한 후, B 훈련 시 기존 모델 A의 parameter는 A 모델의 checkpoint로 로드하고, α 부분은 초기화시키는 방법입니다. Model warm-starting from old one after model reconstructionwarm-starting이란 처음부터 시작하지 않는다는 거죠, 완전하게 task에 맞추어 훈련이 되지는 않았지만 모델의 파라미터의 일부가 유의미한 정보를 가지고 있는 채로 훈련을 시작하는 것으 의미합니다.일반적으로 기존 모델에 추가할 수 있는 새로운 정보가 있다면, 새..........

원문링크 : [Pytorch] 신경망 모델 웜 스타팅 Warm-starting from old one after model reconstruction