Использование библиотеки tenorflow_dataset на платформе AI (CMLE)

Question

Я использую библиотеку tesorflow_datasets для набора данных mnist для обучения на платформе GCP AI. Я использую оценщик tf.gan. Я написал входной конвейер, который читает данные mnist с использованием библиотеки tfds.

import tensorflow_datasets as tfds
ds = tfds.load('mnist', split=self.split, shuffle_files=self.shuffle)

Я обучил свою модель gan, используя ту же библиотеку tenorflow_datasets в экземпляре, и модель тренируется нормально. Я завернул свой код в пакет, чтобы запустить его на платформе AI. Во время тренировки на платформе AI тренировка застревает с предупреждением:

Dataset mnist is hosted on GCS. It will automatically be downloaded to your local data
directory. If you'd instead prefer to read directly from our public GCS bucket.

Несмотря на то, что тренировка застряла, количество единиц ML, продолжающих увеличиваться.

Answer 1

Библиотека tenensflow_datasets принимает аргумент data_dir. Если вы используете эту библиотеку в GCP, рекомендуется использовать 'data_dir', который принимает ванну, в которую были загружены наборы данных tenorflow.

import tensorflow_datasets as tfds
ds = tfds.load('mnist', split=self.split,shuffle_files=self.shuffle, \
     data_dir='gs://tfds-data/datasets')

Надеюсь, что так и будет. Вы также можете проверить это ведро. Это общедоступное c ведро, содержащее наборы данных.

gsutil ls gs://tfds-data/datasets/

Вы можете просмотреть все наборы данных

gs://tfds-data/datasets/
gs://tfds-data/datasets/downloads/
gs://tfds-data/datasets/groove/
gs://tfds-data/datasets/mnist/
gs://tfds-data/datasets/nsynth/
gs://tfds-data/datasets/wikipedia/