Потребитель Кафки работает по некоторым темам, но не по всем - PullRequest
Новая
       42

Потребитель Кафки работает по некоторым темам, но не по всем

0 голосов
/ 25 сентября 2019

Я настраиваю Kafka и попал в стену относительно одного потребителя, подписавшегося на несколько тем.У меня есть один потребитель в группе conusmer-1, слушающий create_record, detroy_record, update_record.destroy_record и update_record получают сообщения, но create_record ничего не получает.Кроме того, destory_record получает сообщение дважды.Странная вещь, когда я добавляю потребителя в свой терминал, я получаю записи для create_record и одну запись для destroy_record.

Я думаю, что знаю проблему, но все еще не уверен.У меня есть другой бэкэнд-сервис, подписанный на те же create_record, detroy_record, update_record, но в другой группе consumer-2.Этот сервис получает сообщения от всех 3 просто отлично.

Спецификации темы:

  • Коэффициент репликации = 3
  • Partions = 1 
const Consumer = kafka.Consumer;
const client = new kafka.KafkaClient({
    kafkaHost: PLACEHOLDER_FOR_HOST_STRINGSx3,
    clientId: "service-1"
});

const topics = [{
    topic: "create_record"
}, {
    topic: "destroy_record"
}, {
    topic: "update_record"
}];

const options = {
    autoCommit: true,
    fetchMaxWaitMs: 1000,
    fetchMaxBytes: 1024 * 1024,
    encoding: 'buffer',
    groupId: 'consumer-1'
};

const consumer = new Consumer(client, topics, options);

...
...