Параметризация запроса BQ для потока данных Google с помощью Cloud Scheduler - PullRequest
Новая
       42

Параметризация запроса BQ для потока данных Google с помощью Cloud Scheduler

0 голосов
/ 04 августа 2020

У меня есть конвейер, который выполняет запрос BQ за последние 24 часа, и я хотел бы параметризовать этот диапазон дат (toDate, fromDate). Поток данных запускается Cloud Scheduler, и мне было интересно, можно ли передать параметры из тела запроса Cloud Scheduler и построить с ним свой запрос? Насколько я понимаю, запрос создается при компиляции файла JAR. Вот фрагмент кода: 

Pipeline pipeline = Pipeline.create(DataflowPipelinOptions);  
PCollection<TableRow> result = pipeline.apply("string", 
                                                   BigQueryIO.readTableRows()
                                                             .withoutValidation()
                                                             .fromQuery(QUERY)
                                                             .usingStandardSql()
                                                             .withTemplateCompatibility()
                                                             .withQueryLocation("US");

Я считаю, что это было бы возможно, если бы я передал весь запрос в качестве параметра тела запроса из Cloud Scheduler, но в идеале я хотел бы вместо этого передать две отдельные строки даты.

Спасибо!

...