В чем разница между потоком данных sql, лучом SQL (дзета sql или CALCITE SQL)? - PullRequest
0 голосов
/ 17 февраля 2020

Во время просмотра я только что наткнулся на Dataflow SQL. Это отличается от луча SQL?

1 Ответ

3 голосов
/ 17 февраля 2020

Apache Beam SQL - это функциональность Apache Beam, которая позволяет вам выполнять запросы прямо из вашего конвейера.

Как вы можете видеть здесь , Beam SQL имеет две опции синтаксиса SQL: Beam Calcite SQL и Zeta SQL. Преимущество использования Zeta SQL состоит в том, что он очень похож на синтаксис BigQuery, следовательно, он полезен в конвейерах, которые читают или записывают в BigQuery.

Dataflow SQL - это функциональность Dataflow это позволяет вам создавать конвейеры непосредственно из запроса BigQuery. В документации сказано, что он поддерживает синтаксис Zeta SQL (синтаксис BigQuery).

Чтобы создать новое задание Dataflow через консоль BigQuery, выполните следующие действия:

  1. Go на консоль BigQuery
  2. Просто в редакторе запросов нажмите Еще , а затем в Настройки запроса
  3. Выбрать Cloud Dataflow engine в первом варианте, как показано ниже

enter image description here

После этого вы можете нажать Создайте задание облачного потока данных , и ваш запрос станет заданием в Dataflow.

Надеюсь, это поможет

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...