[자연어 처리] Training more effective learned optimizers, and using them to train themselves 정리

안녕하세요. 이 포스팅은 최근에 Google research에서 나온 논문에 대한 정리 내용입니다.Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselvesGoogle Research, Brain Team중국어 포스트를 중심으로 해서 원 논문의 내용을 추가했습니다.Abstart현재는 다양한 tasks을 해결하는 방식이 "데이터와 모델에 대한 전문적인 지식을 기반으로 모델의 Feature를 손수 설정하던 방식"에서 "학습할 수 있는 신경망 모델 (Neural network model)"로 대체되었다. 우리는 이와 같이 모델을 train하는 방식을 learned algorithm이 바꿀 수 있다고 믿..........

원문링크 : [자연어 처리] Training more effective learned optimizers, and using them to train themselves 정리