Pytorch Initialization overview

오늘은 파이토치의 초기화 방법에 대해서 살펴봅니다. 파이토치에는 딥러닝 또는 머신러닝을 위해서 텐서라는 것을 만들고, 랜덤값으로부터 모델을 구성한 뒤 최적화 하도록 훈련하는 경향이 있습니다. 하지만 어디서 어떻게 시작하냐에 따라서 모델은 최종 수렴하는 점에 영향을 주게 되는데 이러한 랜덤 포인트를 어떻게 설정할지 또는 텐서의 값을 상수로 고정하거나 0으로 만들거나 할 수 있는 방법들이 init 내부에 존재합니다. 1. torch.nn.init.uniform_(tensor, a=0.0, b=1.0) 수식 : 설명 : 연속 균등 분포라고 불리는 uniform distribution을 사용해서 새로운 값을 생성하도록 도와줍니다. 값의 범위를 처음 부터 설정해두고 a ≤ x ≤ b 의 값을 가지는 값 분포가 생성됩니다. 참고 사항 : 활성화 될 범위를 특별하게 지정하지 않으면, 0 ~ 1에서 활성화 되는 값이 사용됩니다. 사용 방법 : import torch import torch.nn a...

원문링크 : Pytorch Initialization overview