Я работаю над приложением, которое будет подключаться к источнику Kafka и к тому же источнику, я хотел бы создать несколько потоковых запросов с различными условиями фильтрации. Каждый из запросов будет обрабатывать бизнес-логи c и записывать ее в HBase.
Я пытаюсь решить некоторые условия гонки в бизнес-логи c и хочу понять, как работают внутренние Spark Strucutured Потоковая работа при чтении из Kafka.
1) Сколько потребителей Kafka будет создано в приложении? Будет ли это связано с количеством разделов в topi c или с числом исполнителей, запускающих приложение?
2) Будет ли каждый потоковый запрос записывать в одну и ту же неограниченную таблицу с 1 потребителем Kafka на запрос