Multi-GPU 파일 저장 및 삭제 주의사항

이번 글은 비교적 간단합니다. 이번에 확인하게 된 Multi-GPUs의 오류에 대해 공유하고자 합니다. 신기하게도 얘는 사용할때마다 새로운 잔버그가 발생하고, 오류가 발생합니다... 각설하고 오늘은 여러 프로세서를 사용하는 중에 파일을 저장하고 삭제하는 상황에서 발생하는 DDP의 오류에 대해 살펴봅니다. 간단합니다. 문제점 def construct_combined_rehearsal(task:int ,dir:str ,rehearsal:dict ,epoch:int ,limit_memory_size:int ,list_CC:list, gpu_counts:int, ) -> dict: # 각 GPU에서 파일을 저장합니다. _save_rehearsal_for_combine(task, dir, rehearsal, epoch) # 각 GPU 프로세서의 싱크를 맞추기 위해 시간이 필요합니다.(없으면 오류 발생의 가능성이 매우 상승) dist.barrier() # 각 GPU에서 실행된 replay bu...

원문링크 : Multi-GPU 파일 저장 및 삭제 주의사항