Dataset, DataLoader, Sampler


Dataset, DataLoader, Sampler

논문 작성을 위해 코드를 적고있는 중에 생각지도 못한 것을 발견해서 작성합니다. Sampler와 DataLoader등을 자유롭게 사용하셨던 분들은 알고 있었을지도 모르겠습니다. 문제점 저는 CustomDataset을 만들어서 제가 원하는 형태로 데이터들이 사용될 수 있도록 하고 있었습니다. 그리고 deque 알고리즘을 사용하여 한 번 출력된 인덱스는 다시 사용되지 않으며 deque에 들어있는 모든 데이터들이 사용되었을 경우에는 False를 의미하게 되는 동작을 원했습니다. 우선 예시코드를 보도록 하겠습니다. class NewDatasetSet(torch.utils.data.Dataset): def __init__(self, args, CCB_augmentation, datasets, OldDataset, OldDataset_weights, fisher_weight, AugReplay=False, Mosaic=False): self.args = args self.Datasets = d...


#CustomDatset #병렬 #병렬처리문제 #커스텀 #커스텀데이터셋호출 #커스텀샘플러 #커스텀샘플러만들기 #코드주의사항 #파이토치 #파이토치데이터셋 #파이토치주의사항 #데이터셋만들기 #데이터셋 #데이터로더 #CustomSampler #DataLoader #Dataset #DDP #numworkers #prefetch #Pytorch #PytorchSampler #Sampler #Sampler만들기 #파이토치커스텀데이터셋만들기

원문링크 : Dataset, DataLoader, Sampler