GCE Как использовать ImageDataGenerator в Google TPU - PullRequest
Новая
       38

GCE Как использовать ImageDataGenerator в Google TPU

0 голосов
/ 10 сентября 2018

У меня есть модель Keras, но она слишком велика для моего локального ПК, и я пытаюсь перейти на облако Google, чтобы иметь возможность использовать TPU.

Примеры, которые я видел, используют в образах памятидля тренировки модели с функцией подгонки.

У меня есть тысячи изображений, а также я хочу использовать увеличение изображений.В моей локальной модели я использую ImageDataGenerator и fit_generator.

Как мне это сделать с помощью TPU?

У меня есть несколько идей,

  1. Чтобы смонтировать корзину в виртуальную машину
  2. Скопируйте образы на диск виртуальной машины и используйте ImageDataGenerator в качестве Iсделать на моей локальной машине.

Но я не уверен, и я чувствую, что все эти методы неэффективны.

Есть ли способ сделать это эффективно?

Ответы [ 2 ]

0 голосов
/ 21 октября 2018

Tensorflow недавно объявил о поддержке Keras в облачных TPU (по состоянию на 1.11), поэтому ваша существующая модель с fit_generator должна работать, вот пример с использованием fit_generator на TPU

Что касается производительности вашего вопроса, когда у вас есть модель, работающая на TPU, вы можете использовать TPU profiler , чтобы определить, является ли хранилище узким местом.Если хранилище является узким местом, есть несколько способов обойти это, в основном оптимизируя входной конвейер

0 голосов
/ 13 сентября 2018

Если вам нужна скорость чтения, GCP предлагает SSD , что будет для вашей машины самым быстрым способом чтения изображений. Локальные твердотельные накопители имеют ограничение в 3 ТБ, поэтому вам может потребоваться подключить несколько к вашей виртуальной машине в зависимости от количества образов.

Если вы хотите сократить расходы, то установка Bucket с FuseFS - это путь, но это будет самый медленный вариант, поскольку потенциальное расстояние от источника самое большое.

У Google есть отличная статья , в которой объясняются различные варианты хранения. В статье также есть таблицы, в которых представлены различные расходы, а также скорости и другие технические подробности о том, что предлагает каждый вариант.

...