Как загрузить изображения из одной папки в порядке, указанном в кадре данных, для обучения сверточной нейронной сети?

Question

Предоставленные фотографии находятся в одной папке, а кадр данных из файла csv предоставляет соответствующий путь к изображению для каждого элемента, как показано здесь

Если я загружаю каждый файл отдельно,не хватит памяти, чтобы загрузить все это, но я не могу найти способ использовать DataLoader и ImageFolder в Pytorch для его загрузки.Ранее я использовал DataLoader и ImageFolder для других задач CNN, когда фотографии разделены по соответствующим категориям меток.

Я попытался написать функцию генератора для подачи изображений в мою модель, но генератор, похоже, дает сбой.

def img_generator(paths, size, batch_size):
    img_array = []
    for path in paths:
        img = cv2.imread(path)
        img = cv2.resize(img, (size, size))
        img_array.append(img)
        if len(img_array) == batch_size: 
            yield np.array(img_array)
    yield np.array(img_array)

beauty_generator = img_generator(beauty_images, 128, 1)

for item in beauty_generator:
    print('ok')

Это выдаст 'ok' один раз и просто зависнет там.

Любая помощь будет принята с благодарностью!