Colab: набор данных кэша на TPU

Question

Я бы хотел настроить что-то похожее на на следующем ноутбуке colab .У меня есть TFRecord на 100 МБ, и я хотел бы обучить его с использованием TPU.

Моя функция ввода тренировок следующая:

def train_input_fn(batch_size=1024):
  dataset = tf.data.TFRecordDataset(TRAIN_RECORD)
  dataset = dataset.cache()
  dataset = dataset.repeat()
  dataset = dataset.shuffle(100)
  dataset = dataset.map(parse_fn)
  dataset = dataset.batch(batch_size, drop_remainder=True)
  return dataset

Насколько я понимаю, при использовании TPUнабор данных не может находиться на жестком диске компьютера, поэтому я добавил dataset.cache().Но я все еще получаю

UnimplementedError (см. Выше трассировку): схема файловой системы '[local]' не реализована (file: 'train.tfrecord')

Answer 1

ТПУ требуется облачное хранилище Google.локальное хранилище не поддерживается.

https://cloud.google.com/tpu/docs/troubleshooting#cannot_use_local_filesystem

Answer 2

Похоже, что ошибка появляется в этой строке dataset = tf.data.TFRecordDataset(TRAIN_RECORD), которая работает с локальным fs.Я думаю, что вы должны загружать данные вне вашей учебной функции, как это делается в блокноте.