마지막으로 자세하게는 알아보지 않지만, 추가적으로 어떤 방법을 사용해서 Multi-GPU를 사용할 수 있는지 알아보는 글입니다. 추후에 사용할 일이 있다면 더 자세하게 작성할 것 같습니다. Apex 엔비디아에서 제공하는 Multi-GPU 방법이라고 합니다. [ APEX ] 근데 살펴보니까 Apex에 작성된 코드들은 결국 Pytorch에 업스트림되고, 현재 Distributed leaning 관련한 코드들은 이미 파이토치에 업데이트 적용이 완료되었다고 합니다. 따라서 따로 만들어서 실험할 필요는 없는 것 같습니다. 또한 Apex를 사용하는 이유 중 하나인 AMP ( automatic mixed precision )도 곧 파이토치에 업로드가 전부 완료도리 것 같습니다. Pytorch Lightning 요즘 가장 핫합니다. 더럽게 모델을 안짜도되고, 편하게 GPU도 사용할 수 있습니다. 또한 Multi-GPU를 사용하는 방법도 다양해서 취향에 맞게 선택할 수 있습니다. 시간상 여기까지 직...
#AI학습
#spawn
#torch
#다중지피유
#데이터분산학습
#데이터패러럴
#멀티쓰레드
#멀티지피유
#멀티프로세스
#분산학습
#인공지능GPU
#Pytorch
#MultiGPU
#mpspawn
#Apex
#DataParallel
#DDP
#distributed
#DistributedDataParallel
#DP
#GPU
#GPU여러대사용하기
#jjunsss
#launch
#파이토치
원문링크 : Multi-GPU 총정리 5
네이버 블로그
티스토리
커뮤니티