*정확하지 않을 수 있음... generator로 바로 학습해도 되지만, dataset class로 만들어서 학습하는 경우를 생각함. 목차 from_generator를 사용하는 이유 from_generator 사용 예시 의문점: my_dataset.cache()에 대하여 전체 코드 from_generator를 사용하는 이유 1. dataset 크기 generator를 사용하지 않고 tf.data.Dataset.from_tensor_slices((X, y)) 처럼 불러오면 한번에 모든 data를 메모리에 load하게됨. 따라서 data 용량이 큰 경우 사용이 불가능함. from_generator를 사용하면 한번에 generator가 yield하는 data만 메모리에 load하면되므로 큰 전체 dataset에 대해 학습할 수 있음 2. preprocessing load하는 과정에서 동시에 다양한 preprocessing이 가능하다 from_generator 사용 예시 1. 전처리 함수 ...
#AI
#인공지능
#tensorflow
#python
#numpy
#image_preprocessing
#generator
#deeplearning
#dataset
#data
#colab
#cnn
#Class
#cache
#전처리
원문링크 : tf.data.Dataset.from_generator
네이버 블로그
티스토리
커뮤니티