Существует ли Apache Beam DynamicDestination для разъема Bigtable IO? - PullRequest
0 голосов
/ 07 октября 2019

Apache Beam имеет Динамические назначения ! для BigQueryIO.

Есть ли какие-либо реализации или обходные пути для BigtableIO?

events.apply(BigTableIO.<UserEvent>write()
  .to(new DynamicDestinations<UserEvent, String>() {
...
...

1 Ответ

2 голосов
/ 07 октября 2019

Я бы сказал нет, потому что режим загрузки в BigQuery и BigTable отличается.

Действительно, с BigQuery вы можете импортировать порцию данных, сгруппированных в файлы, и загружать их в другую таблицу. Динамическое назначение выполняет именно это: данные направляются в правильный блок, а затем загружаются в BigQuery.

Однако для BigTable такой нагрузки не существует. Таким образом, та же логика не может быть применена.

В качестве обходного пути вы можете записать себя в BigTable в соответствии со своими значениями данных или записать файл и получить другой поток данных для загрузки данных из хранилища в BigTable (для этого существует шаблон потока данных)

...