I wi sh, чтобы создать задание структурированной потоковой передачи искр, которое выполняет что-то вроде ниже (поиск огромного нестатического c набора данных)
- Чтение из кафки (json запись)
Для каждой json записи
- Get {user_key}
- Чтение из огромной таблицы Phoenix (не статическая c), фильтрация по { user_key}
- Дальнейшие преобразования DF
- Запись в другую таблицу Phoenix
Как найти огромный объем нестатических c набор данных на сообщение кафка?