Я пытаюсь обучить CNN (пока ResNet50), используя Keras в Google Colab с их поддержкой TPU. Виртуальная машина TPU на Colab имеет небольшой размер локального диска, поэтому я не могу разместить на ней свои тренировочные образы.
Я попытался загрузить изображения поезда / теста на диск Google, но, похоже, он довольно медленный, чтобы получить доступ к файлам оттуда на Colab. Я настроил корзину Google Cloud Storage (GCS) для загрузки данных в. Но не могу найти хороших примеров того, как подключить ведро к Keras и TPU для обучения.
На сайте TensorFlow они предлагают просто использовать GCS в качестве файловой системы. Но есть кое-что в наборе файлов, который использует «tf.io.gfile» для доступа. Что это значит по отношению к Керасу?
Пример Шекспировского ТПУ показывает монтаж ведра GCS и использование его для хранения модели. Таким образом, я могу смонтировать и ссылаться на ведро Но это не говорит мне, как использовать GCS для подачи тренировочных данных. Все примеры, которые я нахожу, используют некоторый предопределенный набор изображений, упакованных с Keras ..
В некоторых инструкциях указывается, что TPU работает на своем отдельном сервере, и данные должны быть в GCS, чтобы TPU мог получить к нему доступ. Если я запускаю генератор Keras, выполняю увеличение изображений и передаю их в систему обучения, это не значит, что я постоянно загружаю изображения по сети на виртуальную машину Colab, модифицирую их и отправляю по сети на сервер TPU
Кажется довольно сложным запустить простую модель CNN на Keras с TPU. Что мне здесь не хватает, каков правильный процесс?
Любой, у кого есть конкретный пример, был бы великолепен ..