Как конвертировать строки из больших таблиц в общие записи Avro - PullRequest
Новая
       51

Как конвертировать строки из больших таблиц в общие записи Avro

0 голосов
/ 09 января 2019

Я читаю bigtable в своей коллекции Pcollection, а затем пытаюсь преобразовать прочитанные записи в общие записи Avro. Можно ли напрямую изменить чтение из большой таблицы на общие записи без записи какой-либо функции в коллекции pCollection?

Например: я пытаюсь сделать что-то вроде ниже 

 pipeline
    .apply("Read from Bigtable", read)
    .apply("Transform to generic records using Avro.IO", AvroIO.<<>> 
     (read));

1 Ответ

0 голосов
/ 10 января 2019

Для записи Общих записей с AvroIO вам потребуется предоставить схему Avro , которая, как я считаю, несовместима с выходными данными BigtableIO. так что это невозможно без преобразования между BigtableIO и AvroIO.

...