Как перейти с облачного хранилища данных на Cloud Spanner?

Question

Я смотрю на поток данных, чтобы попытаться экспортировать данные из хранилища данных в Spanner.Кажется, Spanner принимает файлы avro только через соединитель потока данных.Единственный шаблон потока данных, который я могу найти - от хранилища данных до текстовых файлов.А служба экспорта хранилища данных экспортирует только в формат levelDB.Любая подсказка будет полезна, спасибо!

Answer 1

Другой возможный маршрут - экспорт из хранилища данных в BigQuery [1].Затем BigQuery может экспортировать в файл Avro в GCS [2], который можно импортировать в Cloud Spanner [3].

[1] https://cloud.google.com/bigquery/docs/loading-data-cloud-datastore

[2] https://cloud.google.com/bigquery/docs/exporting-data

[3] https://cloud.google.com/spanner/docs/import-non-spanner

Answer 2

Существуют руководства по миграции с других реляционных баз данных, таких как MySQL или PostgreSQL, на Spanner, но я не смог найти никакого руководства, если вы хотите перенести данные из базы данных NoSQL, такой как Datastore, в реляционную базу данных, такую ​​как Spanner.

Одна вещь, которую вы можете попробовать, это Dataflow.Поток данных читает из Datastore (либо с помощью вилочного погрузчика, либо выполняет некоторую обработку данных), затем записывает в Spanner, используя SpannerIO. Преобразование ввода / вывода . Запрос хранилища данных с помощью Python также может дать вам представление.

Answer 3

Решением, которое я выбрал, было извлечение данных в виде csv, а затем преобразование в Avro с PySpark.И, наконец, вставка с Dataflow в Spanner.