Выгрузка `TFRecord` из Google BigQuery в Google Cloud Storage - PullRequest
0 голосов
/ 23 мая 2018

Я хотел бы написать задание преобразования ETL, чтобы

  • элементы запроса из BigQuery
  • применили к ним некоторое преобразование
  • , сериализовав в TFRecordsформат
  • выгрузить .tfrecords в корзину Cloud Storage

Возможно, решение может использовать продукты Google Cloud.

Я пытался использовать задания App Engine cron, а такжес API Google Cloud Python, но App Engine нельзя развернуть с помощью tenorflow (что необходимо для сериализации TFRecords).

Любая рекомендация о том, как это можно сделать плавно?

1 Ответ

0 голосов
/ 23 мая 2018

Стандарт AppEngine не может запускать TensorFlow, но может AppEngine гибкий.См. Пример здесь Как запустить TensorFlow в Google App Engine Flexible Enviroment?

...