Запись Avro в BigQuery с использованием Beam

Question

Q1: скажем, я загружаю закодированные данные Avro, используя инструмент загрузки BigQuery.Теперь мне нужно записать эти данные в другую таблицу еще в формате Avro.Я пытаюсь проверить другой раздел, чтобы проверить производительность таблицы.Как мне написать обратно SchemaAndRecord в BigQuery с помощью Beam?Также в этом случае будет работать обнаружение схемы?

Q2: похоже, информация схемы теряется при преобразовании в тип схемы BigQuery из типа схемы Avro.Например, двойной тип и тип с плавающей точкой Avro преобразуются в тип FLOAT в BigQuery.Это ожидается?

Answer 1

Q1: Если таблица уже существует и схема соответствует той, которую вы копируете, вы должны иметь возможность использовать CREATE_NEVER CreateDisposition (https://cloud.google.com/dataflow/model/bigquery-io#writing-to-bigquery)) и просто записывать TableRows непосредственно из вывода readTableRows ()исходную таблицу. Хотя я предлагаю вместо этого использовать команду BigQuery TableCopy.

Q2: Ожидается, что BigQuery не имеет типа Double. Дополнительную информацию о сопоставлении типов можно найти здесь: https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro#avro_conversions. ТакжеВскоре также будут поддерживаться логические типы: https://issuetracker.google.com/issues/35905894.