Multi-GPU 총정리 2

이번에는 1번 글에서 소개했던 DP의 단점을 커버하는 DDP에 대해 알아보고 어떻게 사용하는지 정리합니다. DDP도 사용방법에 따라 다양하게 이용할 수 있는데 해당 글은 2-1) mp.spawn을 사용해서 DDP 동작, DDP에서 전체적으로 사용하는 명칭들 2-2) torch.distributed.launch를 사용한 세세한 DDP 구현, torchrun이라는 stcript의 등장 정도로 글을 작성합니다. nn.DistributedDataParallel(=DDP) DDP에 총괄적으로 사용되는 명칭들을 정리합니다. 여기서는 spawn을 사용한 방식, launch를 사용하는 방식, 그냥 데이터 분산학습에서 흔히 사용되는 명칭을 정리합니다. os.environ[“CUDA__VISIBLE_DEVICES”] = 0, 1, 2, 3 : GPU 지정 —nproc_per_node = 4 : 프로세스를 할당( 해당 코드는 1개의 컴퓨터에 GPU 4개인 경우 ) // python -m torch.di...

원문링크 : Multi-GPU 총정리 2