Всегда ли канал Flume Kafka ограничен одним внутренним потребителем Kafka?

Question

На основе документации Kafka: можно улучшить пропускную способность в Kafka, создав тему с несколькими разделами, а затем создать группу потребителей, в которой не более такого количества экземпляров будет равно количеству разделов. Таким образом, каждому экземпляру потребителя назначается собственный раздел.

Я могу создать тему с несколькими разделами, а затем настроить flume-kafka-channel для использования этой темы.

Однако независимо от того, сколько разделов в теме имеет канал flume-kafka, создайте только одного потребителя (по крайней мере, исходя из того, что я вижу в журналах flume).

Можно ли как-то настроить Kafka-Channel, чтобы он порождал столько потребителей, сколько существует разделов?

Я предполагаю, что ответ - нет, поскольку для канала может быть только один источник.

Answer 1

Насколько я знаю, вы не можете настроить канал Kafka для запуска нескольких пользовательских экземпляров.Однако, в отличие от других процессов Flume, каналы Кафки можно настроить на отсутствие источника:

Канал Кафки можно использовать для нескольких сценариев:

1. С источником и приемником Flume - он обеспечивает надежный и высокодоступный канал для событий
2. С источником и перехватчиком Flume, но без приемника - он позволяет записывать события Flume в тему Kafka для использования другими приложениями
3. С приемником Flume, но без источника - это отказоустойчивый, отказоустойчивый способ отправки событий из Kafka в приемники Flume, такие как HDFS, HBase или Solr

Таким образом, вы можете создать несколько каналов Flume, использующих одну и ту же тему, и, если все они настроены на один и тот же kafka.consumer.group.id, это, по сути, создаст несколько экземпляров потребителей в группе, и разделы темы будут автоматически сбалансированы между ними.,