Ошибка разбора флагов FATAL: неизвестный флаг командной строки 'hive_partitioning_source_uri_prefix'

Question

Я запускаю команду bigquery из composer, используя оператор bash для загрузки данных из улья в bigquery, как показано ниже.

bq --location=US load --replace --source_format=PARQUET --autodetect --hive_partitioning_mode=CUSTOM --hive_partitioning_source_uri_prefix=gs://XXX xxx gs://xxx*

Но с ошибкой говорится: FATAL Flags parsing error: Unknown command line flag 'hive_partitioning_source_uri_prefix'

Если я добавлю команду google-cloud-sdk install к вышеуказанной команде bash, она будет работать.

Я думаю, что Google Cloud SDK предустановлен в облаке Composer. Я использую composer -1.7.2- airflow-1.10.2

Хотите знать, почему это не работает, если я не добавляю google sdk install в приведенную выше команду bash

Answer 1

В соответствии с примечаниями к выпуску GCP Composer , документом , инструменты Google SDK постоянно обновляются и дополняются некоторыми новыми функциями в пределах Composer-Airflow пути роста.

Таким образом, вы можете столкнуться с этой проблемой из-за старых компонентов SDK, поставляемых в composer-1.7.2-airflow-1.10.2, особенно в утилиту bq, которая поставляется в этой среде без поддержки HivePartitioningOptions , влияющих на Airflow BashOperator .