Поток ввода-вывода в BigTable [2.9.0]

Question

Я нашел это Bigtable with Dataflow пример https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/dataflow-connector-examples/src/main/java/com/google/cloud/bigtable/dataflow/example/HelloWorldWrite.java

Тем не менее, он использует

beam-runners-google-cloud-dataflow-java 2.4.0

и в 2.9.0 org.apache.beam.runners.dataflow.options.DataflowPipelineOptions больше не существует.

Есть ли актуальный пример записи в BigTable из Dataflow?

Я нашел: https://beam.apache.org/releases/javadoc/2.0.0/org/apache/beam/sdk/io/gcp/bigtable/BigtableIO.html - это на правильном пути?

Answer 1

Я использовал соединитель BigTable пример , на который вы ссылаетесь, следуя инструкциям здесь , с Dataflow Java SDK 2.9.0, и он отлично работает.Единственный дополнительный шаг, необходимый для изменения SDK в файле pom.xml ( line ):

Замените <beam.version>2.4.0</beam.version> на <beam.version>2.9.0</beam.version>.

Задание потока данныхзапустится (вы увидите Dataflow SDK version: 2.9.0 в выводе std).После успешного завершения вы можете проверить в оболочке HBase правильные строки:

hbase(main):001:0> scan 'Dataflow_test'
ROW                                                                              COLUMN+CELL
 Hello                                                                           column=cf:qualifier, timestamp=1548151071821, value=value_21.60451762361535
 World                                                                           column=cf:qualifier, timestamp=1548151064955, value=value_21.60451762361535
2 row(s) in 1.4230 seconds