Kafka-Streams - Фильтрация GlobalKTable перед присоединением - PullRequest
1 голос
/ 24 сентября 2019

Не могли бы вы дать мне совет относительно подхода к следующей проблеме.У меня есть две темы, одна со статическим контентом, а вторая с потоком данных.Задача состоит в том, чтобы объединить данные, что было бы легко в обычном случае.Я читал бы статический контент как GlobalKTable, а динамический контент как KStream и просто присоединялся к ним.Проблема в том, что данные поиска существуют в нескольких версиях в одной и той же теме.«Версии» идентифицируются полем «validFrom».Таким образом, данные потока должны быть объединены с данными поиска соответствующей версии в соответствии с их отметкой времени.Есть ли способ отфильтровать данные в GlobalKTable?

С уважением, Мартин

1 Ответ

2 голосов
/ 25 сентября 2019

Вы не можете применить операцию фильтрации к самому GlobalKTable, но вы можете попробовать проверить версию записей в ValueJoiner и установить значения записей результатов объединения, которые не проходят проверку, на null.После объединения вы можете применить фильтр, который отфильтровывает все записи со значением null.

...