В чем разница между потоком данных sql, лучом SQL (дзета sql или CALCITE SQL)?

Question

Во время просмотра я только что наткнулся на Dataflow SQL. Это отличается от луча SQL?

Answer 1

Apache Beam SQL - это функциональность Apache Beam, которая позволяет вам выполнять запросы прямо из вашего конвейера.

Как вы можете видеть здесь , Beam SQL имеет две опции синтаксиса SQL: Beam Calcite SQL и Zeta SQL. Преимущество использования Zeta SQL состоит в том, что он очень похож на синтаксис BigQuery, следовательно, он полезен в конвейерах, которые читают или записывают в BigQuery.

Dataflow SQL - это функциональность Dataflow это позволяет вам создавать конвейеры непосредственно из запроса BigQuery. В документации сказано, что он поддерживает синтаксис Zeta SQL (синтаксис BigQuery).

Чтобы создать новое задание Dataflow через консоль BigQuery, выполните следующие действия:

1. Go на консоль BigQuery
2. Просто в редакторе запросов нажмите Еще , а затем в Настройки запроса
3. Выбрать Cloud Dataflow engine в первом варианте, как показано ниже

После этого вы можете нажать Создайте задание облачного потока данных , и ваш запрос станет заданием в Dataflow.

Надеюсь, это поможет