У меня есть два идентичных сценария, единственное различие между ними - это оператор bigquery SELECT * STATEMENT.
У меня оба этих python сценария работали более 6 месяцев, но после обновления образа работает только один?
Во время отладки я заметил в журналах, что могу не видите проблем? Я включил журнал ниже.
К вашему сведению, я обновил версию образа composer -1.10.4-airflow-1.10.6
*** Reading remote log from gs://europe-west1-product-class--94c0ea69-bucket/logs/Daily_Product_class_3_Reads_v2/Daily_Product_class_3_Reads_v2/2020-06-17T07:18:29.363316+00:00/1.log.
[2020-06-17 07:18:47,079] {taskinstance.py:630} INFO - Dependencies all met for <TaskInstance: Daily_Product_class_3_Reads_v2.Daily_Product_class_3_Reads_v2 2020-06-17T07:18:29.363316+00:00 [queued]>
[2020-06-17 07:18:47,163] {taskinstance.py:630} INFO - Dependencies all met for <TaskInstance: Daily_Product_class_3_Reads_v2.Daily_Product_class_3_Reads_v2 2020-06-17T07:18:29.363316+00:00 [queued]>
[2020-06-17 07:18:47,166] {taskinstance.py:841} INFO -
--------------------------------------------------------------------------------
[2020-06-17 07:18:47,166] {taskinstance.py:842} INFO - Starting attempt 1 of 1
[2020-06-17 07:18:47,167] {taskinstance.py:843} INFO -
--------------------------------------------------------------------------------
[2020-06-17 07:18:47,234] {taskinstance.py:862} INFO - Executing <Task(PythonOperator): Daily_Product_class_3_Reads_v2> on 2020-06-17T07:18:29.363316+00:00
[2020-06-17 07:18:47,236] {base_task_runner.py:133} INFO - Running: ['airflow', 'run', 'Daily_Product_class_3_Reads_v2', 'Daily_Product_class_3_Reads_v2', '2020-06-17T07:18:29.363316+00:00', '--job_id', '110566', '--pool', 'default_pool', '--raw', '-sd', 'DAGS_FOLDER/ut003_pc3_dag.py', '--cfg_path', '/tmp/tmp3cq2edj4']