Лучший способ импортировать данные в Google Bigtable с локального SQL сервера

Question

Мне нужно каждый день импортировать много данных с нашего локального SQL Сервера на Bigtable. 100-200 миллионов строк каждый день.

Я пытался отправить данные в Bigtable с помощью API записи, но это было очень медленно (например, 20M в час).

Я обнаружил, что загрузка файлов Bigtable может быть намного быстрее из хранилища Google с помощью потока данных Google-облака. но мне кажется, что это слишком сложно и не нужно экспортировать из SQL в файл, затем загрузить файл, а затем импортировать файл.

Я надеюсь найти более простое решение, которое включит пакетную обработку из SQL в Bigtable без использования файлов.

Если кто-то может дать мне ссылки / описание того, что здесь должно быть лучшее, это будет здорово.

Answer 1

Учитывая, что нет SQL соединителя сервера-потока данных, я не могу придумать лучшего способа. Однако вы можете использовать облачную функцию для оптимизации этого рабочего процесса.

Используя GCS триггер загрузки , вы можете настроить его так, чтобы при загрузке файла вы запускали задание потока данных , которое импортирует данные. Если вы настроите ежедневное задание CRON для экспорта и загрузки данных, то весь процесс станет автоматическим c.