Схема внешней таблицы BIgQuery AVRO

Question

Я пытаюсь создать пустую внешнюю таблицу BigQuery с помощью API Java.

В нашем потоке существует разрыв между созданием таблицы и получением файла avro, поэтому мне нужно создать таблицу без каких-либо базовых данных. ExternalTableDefinition позволяет указать sourceUri и схему.

Итак, я попытался с нулевым sourceUri и допустимой схемой. Я получаю эту ошибку: «Указание схемы запрещено для STORAGE_FORMAT_AVRO»

Почему ограничение?

Есть ли способ создать внешнюю таблицу avro только на основе схемы?

заранее спасибо

Answer 1

Невозможно создать пустую внешнюю таблицу

Но вы можете попробовать использовать фиктивный / пустой avro-файл, который определит вашу схему и будет использовать ее при создании внешней таблицы из источника.
Важно - вы можете использовать подстановочный знак, как в gs: // mybucket / path / to / myAvroFiles *, поэтому файлы с поздним прибытием, которые соответствуют ему, будут доступны через эту внешнюю таблицу