Я хотел бы написать задание преобразования ETL, чтобы
- элементы запроса из BigQuery
- применили к ним некоторое преобразование
- , сериализовав в
TFRecordsформат - выгрузить
.tfrecords в корзину Cloud Storage
Возможно, решение может использовать продукты Google Cloud.
Я пытался использовать задания App Engine cron, а такжес API Google Cloud Python, но App Engine нельзя развернуть с помощью tenorflow (что необходимо для сериализации TFRecords).
Любая рекомендация о том, как это можно сделать плавно?