Есть ли в Голанге разъем Apache Beam + Cloud Bigtable? - PullRequest
2 голосов
/ 08 мая 2019

Есть ли способ получить доступ к данным, хранящимся в Cloud Bigtable, в качестве источника ввода для запуска конвейеров Apache Beam?

1 Ответ

4 голосов
/ 14 мая 2019

В настоящее время не существует ввода-вывода Apache Beam Go SDK для Bigtable.

Их можно основывать на существующих IO (таких как BigQueryIO ), но до тех пор, пока оба Go SDKи бегуны поддерживают перенос переносимой работы, будут проблемы с масштабированием, в частности, сериализация при начальных чтениях.Это еще не завершено, но пока нет времени для его подготовки.

Еще одно готовящееся решение - «межязыковой ввод-вывод», который позволит SDK использовать вводы-выводы из других языков (в частности, позволить Python & Go использовать JavaIO, которые уже прошли производство).

В настоящее время практически не тратится время на работу / тестирование IO Go SDK, и они не дают никаких гарантий относительно их надежности, подгонки или отделки.

...