Как я могу запустить несколько потребителей для Kafka topi c с несколькими разделами?

Question

Я недавно начал использовать искру, и мне приходится иметь дело со случаем, когда мне нужно использовать несколько разделов топки Кафки c в искре. Как я могу начать несколько потребителей? Нужно ли запускать несколько экземпляров одного и того же приложения с одинаковым идентификатором группы? или есть какая-либо конфигурация, которую я могу использовать при запуске приложения, и она выполняет эту работу внутренне?

Answer 1

Передача --num-executors и использование более одного ядра на исполнителя приведет к созданию в Spark более одного потребительского потока

Каждый потребительский поток сопоставляется с одним разделом.

Сделайте общее количество потоков равным общему количеству разделов, чтобы максимизировать распределенную пропускную способность