Проблема: у меня есть таблица во внешней базе данных, содержащая события kafka, которые я опросил с шины Kafka в последний раз.Таблица содержит для всех событий составной первичный ключ PK (тема, раздел, смещение).
Так что я могу легко по каждой теме и разделу определить последнее событие.
Теперь я бы хотелсделайте выбор следующим образом:
SELECT event
FROM topic
WHERE event.partition = partition0 AND event.offset > partition0.offset
OR event.partition = partition1 AND event.offset > partition1.offset
...
И, конечно, мне бы очень хотелось, чтобы оператор сразу же возвращался со всеми событиями в очереди, записывая результат в файл HDFS.
Какя бы сделал это с KSQL?
NB: Конечно, я хотел бы поместить все разделы с соответствующими смещениями в виде пар в массив и использовать это в предложении where ... это было бы лучшим решением.