BigQueryValueCheckOperator и стандартный sql

Question

Я хотел бы знать, есть ли способ использовать стандартный sql с потоком воздуха BigQueryValueCheckOperator в apache airflow 1.9 Обычно поток потока BigQueryOperator имеет такой флаг

use_legacy_sql=False для отключения устаревшего sql.Я не могу найти способ достичь этого с помощью BigQueryValueCheckOperator.

Переписать запрос в устаревшем sql пока нельзя, поскольку я хочу использовать _PARTITIONTIME в предложении where.

Спасибо.

Answer 1

В настоящее время вы не можете использовать StandardSQL с этим оператором.

Однако для вашего случая использования вы все равно можете использовать _PARTITIONTIME с Legacy Sql , как указано здесь в документации: https://cloud.google.com/bigquery/docs/querying-partitioned-tables#querying_ingestion-time_partitioned_tables_using_time_zones

Пример запроса:

#legacySQL
SELECT
  field1
FROM
  mydataset.partitioned_table
WHERE
  _PARTITIONTIME BETWEEN TIMESTAMP("2016-05-01")
  AND TIMESTAMP("2016-05-06")
  AND DATE_ADD([MY_TIMESTAMP_FIELD], 8, 'HOUR') BETWEEN TIMESTAMP("2016-05-01 12:00:00")
  AND TIMESTAMP("2016-05-05 14:00:00");