Мое приложение использует и обрабатывает сообщения Kafka, используя Spark Streaming, используя метод "Прямой подход".
Я знаю, что по умолчанию задания распределяются по всем рабочим для выполнения, но я хочу ограничить количество заданий для каждого рабочего. Есть ли свойство для достижения этой цели в Kafka-Spark Streaming?
Например:
У меня есть 100 рабочих мест и 2 рабочих (рабочий-1 и рабочий-2). В этом случае я хочу выполнить 40 заданий на Worker-1 и еще 60 заданий на Worker-2. Может ли кто-нибудь помочь мне добиться этого?