Миграция из DynamoDB в Spanner / BigTable

Question

У меня есть сценарий использования, когда мне нужно перенести 70 ТБ данных из DynamoDB в BigTable и Spanner. Таблицы с одним индексом перейдут в BigTable, иначе они перейдут в Spanner.

Я легко справлюсь с историческими нагрузками, экспортировав данные в S3 -> GCS -> Spanner / BigTable. Но сложная часть состоит в том, чтобы обрабатывать возрастающие потоковые нагрузки, одновременно происходящие на DynamoDB. В DynamoDB 300 таблиц.

Как справиться с этой задачей наилучшим образом? Кто-нибудь делал это раньше?

Answer 1

Один из подходов может быть реализован с использованием лямбда-выражений для захвата изменений динамодаба, публикации изменений в пабе / подпункте GCP, а затем с помощью потокового конвейера потока данных, обрабатывающего входящие паб / подпопулярные сообщения, записывающего его в Spanner или BigTable в зависимости от таблицы.

Базовое решение DynamoDB-> Spanner документировано здесь: https://cloud.google.com/solutions/migrating-dynamodb-to-cloud-spanner

Это может быть адаптировано для обработки различных адресатов для разных таблиц.