논문 작성을 위해 코드를 적고있는 중에 생각지도 못한 것을 발견해서 작성합니다. Sampler와 DataLoader등을 자유롭게 사용하셨던 분들은 알고 있었을지도 모르겠습니다. 문제점 저는 CustomDataset을 만들어서 제가 원하는 형태로 데이터들이 사용될 수 있도록 하고 있었습니다. 그리고 deque 알고리즘을 사용하여 한 번 출력된 인덱스는 다시 사용되지 않으며 deque에 들어있는 모든 데이터들이 사용되었을 경우에는 False를 의미하게 되는 동작을 원했습니다. 우선 예시코드를 보도록 하겠습니다. class NewDatasetSet(torch.utils.data.Dataset): def __init__(self, args, CCB_augmentation, datasets, OldDataset, OldDataset_weights, fisher_weight, AugReplay=False, Mosaic=False): self.args = args self.Datasets = d...
#CustomDatset
#병렬
#병렬처리문제
#커스텀
#커스텀데이터셋호출
#커스텀샘플러
#커스텀샘플러만들기
#코드주의사항
#파이토치
#파이토치데이터셋
#파이토치주의사항
#데이터셋만들기
#데이터셋
#데이터로더
#CustomSampler
#DataLoader
#Dataset
#DDP
#numworkers
#prefetch
#Pytorch
#PytorchSampler
#Sampler
#Sampler만들기
#파이토치커스텀데이터셋만들기
원문링크 : Dataset, DataLoader, Sampler