Измените оператор BigQuery, чтобы явно передавать аргумент JobId операторам AirFlow - PullRequest
Новая
       33

Измените оператор BigQuery, чтобы явно передавать аргумент JobId операторам AirFlow

0 голосов
/ 13 февраля 2019

Я сейчас использую Big-query Operator см. Здесь .Мне необходимо явно отправить сгенерированный пользователем аргумент JobId.

Я знаю, что этот оператор создает по умолчанию собственный сгенерированный JobId, однако мне интересно переопределить это поведение, к сожалению, этот оператор не принимает JobId какаргумент.

Я попытался передать такой аргумент через api_resource_configs и получил следующее сообщение (обратите внимание, что мой аргумент JobId был проигнорирован): 

[2019-02-12 14:01:09,402] {base_task_runner.py:98} INFO - Subtask: /usr/local/lib/airflow/airflow/models.py:2159: PendingDeprecationWarning: Invalid arguments were passed to BigQueryOperator. Support for passing such arguments will be dropped in Airflow 2.0. Invalid arguments were:
[2019-02-12 14:01:09,403] {base_task_runner.py:98} INFO - Subtask: *args: ()
[2019-02-12 14:01:09,403] {base_task_runner.py:98} INFO - Subtask: **kwargs: {'api_resource_configs': {'jobReference': {'jobId': 'goodfornothing'}}}
[2019-02-12 14:01:09,403] {base_task_runner.py:98} INFO - Subtask:   category=PendingDeprecationWarninghere any version of this operator that gets that argument? can i some how modify the operator to accept this argument?

Заранее спасибо !!!!

1 Ответ

0 голосов
/ 19 февраля 2019

Поскольку api_resource_configs был представлен в Airflow v1.10.2 ( код ), и Cloud Composer пока не поддерживает эту версию.Вы можете скопировать в свой проект последний код BigQueryOperator в качестве собственного пользовательского оператора.

...