Генератор делает только 12 итераций - независимо от размера пакета - PullRequest
Новая
       20

Генератор делает только 12 итераций - независимо от размера пакета

1 голос
/ 09 апреля 2019

У меня есть следующий генератор данных. Работает и возвращает ожидаемые данные. За исключением того, что независимо от того, что я установил равными epochs или batchsize, он делает только 12 итераций и затем выдает ошибку (см. Ниже)

Я попытался изменить количество эпох и размер партии. 

# initialize the number of epochs to train for and batch size
NUM_EPOCHS = 10 #100
BS = 32 #64 #32

NUM_TRAIN_IMAGES = len(train_uxo_scrap)
NUM_TEST_IMAGES = len(test_uxo_scrap)

def datagenerator(imgfns, imglabels, batchsize, mode="train", class_mode='binary'):
    cnt=0
    while True:
        images = []
        labels = []
        #cnt=0

        while len(images) < batchsize and cnt < len(imgfns):
            images.append(imgfns[cnt])
            labels.append(imglabels[cnt])
            cnt=cnt+1

        print(images)
        print(labels)
        print('********** cnt = ', cnt)
        yield images, labels

train_gen = datagenerator(train_uxo_scrap, train_uxo_scrap_labels, batchsize=BS, class_mode='binary')

valid_gen = datagenerator(test_uxo_scrap, test_uxo_scrap_labels, batchsize=BS, class_mode='binary')

# train the network
H = model.fit_generator(
    train_gen,
    steps_per_epoch=NUM_TRAIN_IMAGES // BS,
    validation_data=valid_gen,
    validation_steps=NUM_TEST_IMAGES // BS,
    epochs=NUM_EPOCHS)

Я ожидаю, что код пройдет 10 эпох с 32 выборками в каждой итерации. Я получаю 32 выборки за итерацию, но я получаю только 12 итераций в 1-ю эпоху, а затем я получаю следующую ошибку. Это происходит независимо от того, какой размер пакета или эпохи установлен. 

---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
<ipython-input-83-26f81894773d> in <module>()
      5     validation_data=valid_gen,
      6     validation_steps=NUM_TEST_IMAGES // BS,
----> 7     epochs=NUM_EPOCHS)

~\AppData\Local\Continuum\anaconda3\envs\dltf1\lib\site-packages\tensorflow\python\keras\engine\training.py in fit_generator(self, generator, steps_per_epoch, epochs, verbose, callbacks, validation_data, validation_steps, class_weight, max_queue_size, workers, use_multiprocessing, shuffle, initial_epoch)
   1424         use_multiprocessing=use_multiprocessing,
   1425         shuffle=shuffle,
-> 1426         initial_epoch=initial_epoch)
   1427 
   1428   def evaluate_generator(self,

~\AppData\Local\Continuum\anaconda3\envs\dltf1\lib\site-packages\tensorflow\python\keras\engine\training_generator.py in model_iteration(model, data, steps_per_epoch, epochs, verbose, callbacks, validation_data, validation_steps, class_weight, max_queue_size, workers, use_multiprocessing, shuffle, initial_epoch, mode, batch_size, **kwargs)
    182       # `batch_size` used for validation data if validation
    183       # data is NumPy/EagerTensors.
--> 184       batch_size = int(nest.flatten(batch_data)[0].shape[0])
    185 
    186       # Callbacks batch begin.

IndexError: tuple index out of range

Вот образец распечатки: 

['C:\\Users\\jfhauris\\Documents\\xtemp\\ML GEO\\MLGeoCode\\FormattedDataStore\\uxo_48-81\\JBCC_Norm_Formatted_48-81_#615.npy', ..., 'C:\\Users\\jfhauris\\Documents\\xtemp\\ML GEO\\MLGeoCode\\FormattedDataStore\\scrap_48-81\\JBCC_Norm_Formatted_48-81_#224.npy']
[1, 0, 1, 1, 0, 0, 0, 1, 0, 0, 1, 1, 0, 1, 0, 1, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 1, 1, 0, 0, 0]
********** cnt =  352
['C:\\Users\\jfhauris\\Documents\\xtemp\\ML GEO\\MLGeoCode\\FormattedDataStore\\uxo_48-81\\JBCC_Norm_Formatted_48-81_#532.npy', 'C:\\Users\\jfhauris\\Documents\\xtemp\\ML GEO\\MLGeoCode\\FormattedDataStore\\uxo_48-81\\JBCC_Norm_Formatted_48-81_#953.npy', 
...
, 'C:\\Users\\jfhauris\\Documents\\xtemp\\ML GEO\\MLGeoCode\\FormattedDataStore\\scrap_48-81\\JBCC_Norm_Formatted_48-81_#1081.npy', 'C:\\Users\\jfhauris\\Documents\\xtemp\\ML GEO\\MLGeoCode\\FormattedDataStore\\scrap_48-81\\JBCC_Norm_Formatted_48-81_#1050.npy']
[1, 1, 0, 1, 1, 1, 1, 0, 1, 1, 0, 0, 1, 1, 1, 0, 1, 0, 0, 0, 1, 1, 1, 1, 0, 0, 1, 1, 0, 1, 0, 0]
********** cnt =  384

1 Ответ

2 голосов
/ 09 апреля 2019

Посмотрите, работает ли это: 

def datagenerator(imgfns, imglabels, batchsize, mode="train", class_mode='binary'):
    while True:
        start = 0
        end = batchsize

        while start  < len(imgfns): 
            x = imgfns[start:end]
            y = imglabels[start:end]
            yield x, y

            start += batchsize
            end += batchsize

при условии, что imgfns, imglabels являются массивами numpy.

...