Как создать таблицу BigQuery с обязательными полями из DataFlow с определением строковой схемы?

Question

Я использую DataFlow WriteToBigQuery с CREATE_IF_NEEDED, и поэтому должен указать схему.

Я определяю схему в начале моего кода (вне фактического конвейера), но так как мне нужнофлаг --save_main_session, я получаю ту же ошибку, что и здесь , что объясняет, что схема не может быть передана вместе с конвейером, так как определение схемы BigQuery не может быть выбрано.

Решение, упомянутое на странице, для меня не вариант (отключите флаг --save_main_session), и, таким образом, другой параметр для указания схемы - через строку.Однако мне нужно установить для некоторых полей значение REQUIRED.Есть ли способ сделать это с помощью определения схемы строки?

Answer 1

Как видно из bigquery.py преобразование из строковой схемы в TableSchema довольно простое и действительно устанавливает режим в NULLABLE.Возможно, вы можете создать TableSchema с ОБЯЗАТЕЛЬНЫМИ полями на основе этого фрагмента кода.