Apache Beam SQL
- это функциональность Apache Beam
, которая позволяет вам выполнять запросы прямо из вашего конвейера.
Как вы можете видеть здесь , Beam SQL
имеет две опции синтаксиса SQL
: Beam Calcite SQL и Zeta SQL. Преимущество использования Zeta SQL
состоит в том, что он очень похож на синтаксис BigQuery
, следовательно, он полезен в конвейерах, которые читают или записывают в BigQuery
.
Dataflow SQL
- это функциональность Dataflow
это позволяет вам создавать конвейеры непосредственно из запроса BigQuery
. В документации сказано, что он поддерживает синтаксис Zeta SQL
(синтаксис BigQuery).
Чтобы создать новое задание Dataflow
через консоль BigQuery
, выполните следующие действия:
- Go на консоль BigQuery
- Просто в редакторе запросов нажмите Еще , а затем в Настройки запроса
- Выбрать Cloud Dataflow engine в первом варианте, как показано ниже
После этого вы можете нажать Создайте задание облачного потока данных , и ваш запрос станет заданием в Dataflow
.
Надеюсь, это поможет