Улей для GCP BigQuery Sync

Question

Нам нужно перемещать данные из таблиц Hive (Hadoop) в GCP (Google Cloud Platform) BigQuery через равные промежутки времени (ежечасно / ежедневно / любое).Есть несколько таблиц и объем данных огромен.Не могли бы вы сообщить мне, можно ли использовать облачный поток данных (CDF) в этой ситуации?Любые альтернативы?

Заранее спасибо!

С уважением, Кумар

Answer 1

Существует множество решений в зависимости от временных масштабов, которые у вас есть, но любое или все из них будут включать использование gsutil для копирования данных из HDFS (в локальную файловую систему), а затем в GCS. В качестве альтернативы вы также можете разработать решение, использующее резервное копирование MySQL и восстановление их обратно на GCP

.