Воздушный поток - проверка состояния задания BigQuery не выполнена.Последняя ошибка:% s ' - PullRequest
Новая
       23

Воздушный поток - проверка состояния задания BigQuery не выполнена.Последняя ошибка:% s '

0 голосов
/ 21 июня 2019

Я нахожусь в расположении BigQuery southamerica-east1, и когда я пытаюсь запустить функцию воздушного потока GoogleCloudStorageToBigQueryOperator, я получаю сообщение об ошибке: Проверка состояния задания BigQuery не выполнена.Последняя ошибка:% s '

При поиске по теме мне нужно «принудительно» указать расположение таблицы операций BigQueryCursor, которую я перенесу в BigQuery.

Даже при создании пустой таблицы сВ том же месте я не могу импортировать данные, которые находятся в облачном хранилище.

Я хотел бы более подробно понять, что мне нужно сделать в моем коде (если это возможно на примере), чтобы успешно завершить мой процесс.

Я подчеркиваю, что мой набор данных и пустая таблица настроены в одно и то же местоположение 

json_gcs_to_bq = GoogleCloudStorageToBigQueryOperator(
    task_id='gcs_to_bq',
    bucket='big-data',
    source_objects=[nm_arquivo],
    destination_project_dataset_table='teste.tab1',
    schema_object='sc_tab1.json',
    source_format='NEWLINE_DELIMITED_JSON',
    create_disposition='CREATE_IF_NEEDED',
    write_disposition='WRITE_TRUNCATE',
    bigquery_conn_id='gcp_conn',
    google_cloud_storage_conn_id='gcp_conn',
    dag=dag
)

Сообщение об ошибке: 

 [2019-06-21 14:39:38,639] {{logging_mixin.py:95}} INFO - [2019-06-21
 14:39:38,630] {{discovery.py:873}} INFO - URL being requested: POST
 https://www.googleapis.com/bigquery/v2/projects/big-data/jobs?alt=json
 [2019-06-21 14:39:39,525] {{logging_mixin.py:95}} INFO - [2019-06-21
 14:39:39,525] {{discovery.py:873}} INFO - URL being requested: GET
 https://www.googleapis.com/bigquery/v2/projects/big-data/jobs/job_zyDDpy94ReP_X6qqR6DrbqGnb-Ar?alt=json
 [2019-06-21 14:39:39,881] {{models.py:1760}} ERROR - ('BigQuery job
 status check failed. Final error was: %s', 404) Traceback (most recent
 call last):   File
 "/usr/local/lib/python3.6/site-ackages/airflow/contrib/hooks/bigquery_hook.py",
 line 1014, in run_with_configuration

1 Ответ

0 голосов
/ 27 июня 2019

Я вставил функции gcs_to_bq и bigquery_hook локально, из библиотеки воздушного потока, и создал и принудительно установил местоположение для своего региона (в случае southamerica-east1) и сумел заставить процесс работать!

...