Ищите предложения по потоковой передаче искры.Я передаю данные с помощью kafka и сохраняю результат в HBase после применения некоторых отображений.
1-й пункт: я хочу создать справочную таблицу (в памяти), которую мне нужно заполнять из потоковых данных каждый раз для имени и города вместе с фамилией общего ключа.
так что моей структурой записи будет Фамилия, Имя и Город
Эта таблица будет расти с каждым днем ..
2-й пункт, мне нужно посмотретьвверх по этой таблице, когда я применяю сопоставления для заполнения FirstName и City, если эти данные отсутствуют в потоке на основе фамилии.
3-й пункт: я хочу сохранить данные в справочной таблице только в течение 15 дней и удалитьзаписи старше 15 дней.
Пожалуйста, дайте мне знать ваши предложения по реализации этой логики.
Спасибо