Можно ли работать локально, обучая модель тензопотока, используя данные из облачного хранилища Google, не загружая ее?

Question

Я пытаюсь использовать локально в R модель тензорного потока с использованием tfdatasets и cloudML, используя обучающие данные, доступные в облачном хранилище Google, без загрузки их. Насколько я знаю, пакет "tfdtasets" должен использовать gs: // URL-адреса напрямую с gs_data_dir ().

Если я укажу в TSScript.R:

data_dir <- gs_data_dir(gs://my-gcp-project/data/)

Когда я запускаю cloud_train (TSScript.R), я получаю ошибку:

Error: 'gs://my-gpc-project/data/train.data.csv' does not exist in current working directory ('/root/.local/lib/python2.7/site-packages/cloudml-model')

Вот мои вопросы:

1. Возможно ли это как-то сделать, но я делаю некоторые ошибки в своем сценарии?

2. Если нет, нужно ли устанавливать R в облаке и работать оттуда напрямую?

3. возможно ли будет обучение данных из bigTable без локальной загрузки?

Спасибо

Answer 1

Для 1) Я думаю, вы можете искать tf.gfile () https://www.tensorflow.org/api_docs/python/tf/io/gfile/GFile

Пример использования: https://github.com/GoogleCloudPlatform/cloudml-samples/blob/master/census/keras/trainer/model.py#L154

Надеюсь, это поможет!

Для 2) Если вы хотите сделать это, вы должны посмотреть на пользовательские контейнеры. https://cloud.google.com/ml-engine/docs/custom-containers-training

Для 3) Я не знаком с BigTable, но я думаю, что вам придется запрашивать эти данные, которые вам нужны, и вручную извлекать их локально. Я не думаю, что TF.gfile поддерживает BigTable только GCS.