DataGenerator не находит файлы на Google Диске - PullRequest
Новая
       101

DataGenerator не находит файлы на Google Диске

0 голосов
/ 18 июня 2020

Используя здесь код https://keras.io/api/utils/python_utils/#sequence -class , я закодировал собственный генератор данных. 

# Here, `x_set` is list of path to the images
 # and `y_set` are the associated classes.

class DataGenerator(Sequence):
def __init__(self, x_set, y_set, batch_size):
    self.x, self.y = x_set, y_set
    self.batch_size = batch_size

def __len__(self):
    return math.ceil(len(self.x) / self.batch_size)

def __getitem__(self, idx):
    batch_x = self.x[idx * self.batch_size:(idx + 1) *
    self.batch_size]
    batch_y = self.y[idx * self.batch_size:(idx + 1) *
    self.batch_size]

    return np.array([
        resize(imread(file_name), (224, 224))
           for file_name in batch_x]), np.array(batch_y)

У меня есть X_train и X_val, которые представляют собой списки, содержащие изображение пути к моим файлам изображений и y_train и y_val, которые являются одними горячими закодированными метками, и применили эти данные к DataGenerator. 

training_generator = DataGenerator(X_train, y_train, batch_size=32)
validation_generator = DataGenerator(X_val, y_val, batch_size=32)

И затем подогнали модель: 

model.fit_generator(generator=training_generator,
                    validation_data=validation_generator,
                    steps_per_epoch = num_train_samples // batch_size,
                    validation_steps = num_val_samples // batch_size,
                    epochs = 10,
                    use_multiprocessing=True,
                    workers=6)

При запуске этот код, я получил эту ошибку: 

---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
<ipython-input-54-411e62536182> in <module>()
      5                     epochs = 10,
      6                     use_multiprocessing=True,
----> 7                     workers=6)

16 frames
/usr/local/lib/python3.6/dist-packages/imageio/core/request.py in _parse_uri(self, uri)
    271                 # Reading: check that the file exists (but is allowed a dir)
    272                 if not os.path.exists(fn):
--> 273                     raise FileNotFoundError("No such file: '%s'" % fn)
    274             else:
    275                 # Writing: check that the directory to write to does exist

FileNotFoundError: No such file: '/content/gdrive/My Drive/data/2017-IWT4S-CarsReId_LP-dataset/s01_l01/1_1.png'

X_train - это список, который содержит абсолютный путь к моим данным на Google Диске в виде строки. 

X_train[0]
'/content/gdrive/My Drive/data/2017-IWT4S-CarsReId_LP-dataset/s01_l01/1_1.png'

Как мне нужно изменить код, чтобы генератор нашел мои файлы? Может быть, это потому, что файл Colab Notebook и данные не находятся в одной папке? -> Я помещаю свой блокнот Colab Jupyter в папку "/ content / gdrive / My Drive", и я также получил FileNotFoundError ". Или мне нужно каким-либо образом направить маршрут в правильную папку?

1 Ответ

0 голосов
/ 20 июля 2020

Это произошло из-за тайм-аута Google Drive. Я решил эту проблему, написав в своей консоли, как рекомендовано здесь: FileNotFoundError: Нет такого файла: -> Произошла ошибка из-за TimeOut Google Drive? 

function ConnectButton(){
    console.log("Connect pushed"); 
    document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click() 
}
setInterval(ConnectButton,600);
...