Фильтрация потока Кафки по огромному списку элементов - PullRequest
0 голосов
/ 08 ноября 2018

У меня очень специфическое требование, когда я потребляю записи из темы Кафки. Записи, прочитанные из этой темы, содержат отдельные банковские операции клиентов. Очевидно, в нем есть номер банковского счета. Также у меня есть таблица базы данных в Oracle, содержащая номера счетов клиентов. Эта таблица содержит около 50 тыс. Записей, которые являются учетными записями, подписанными на определенную услугу. Требование состоит в том, что я хочу иметь фильтр для записей, передаваемых из темы Kafka, так, чтобы он давал мне только те записи из темы, номер счета которых соответствует номерам счета 50 000 из приведенной выше таблицы.

ПРИМЕЧАНИЕ. Для этого я использую Java 8.

Надеюсь, я предоставил достаточно информации для сценария, который я пытаюсь объяснить.

1 Ответ

0 голосов
/ 08 ноября 2018

Вы можете загрузить номера счетов в GlobalKTable и присоединиться к потоку за столом. Если вы используете внутреннее соединение, поток результатов будет содержать только совпадающие записи.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...