beamsql с динамическим запросом

Question

У нас есть конвейер Apache Beam, и нам нужно выполнить несколько запросов BeamSql. Запросы не известны во время строительства конвейера, но будут известны, когда конвейер работает. Запросы будут периодически обновляться. Это возможно с BeamSql? Мы используем Google Dataflow Runner.

Answer 1

Боюсь, это невозможно с Beam SQL.Запрос преобразуется в структуру конвейера во время создания.

Получаете ли вы операторы SQL в качестве входных данных для вашего конвейера?Одна из возможностей - запуск «под» конвейеров из вашего конвейера.