Потребитель Кафки не начинает обработку со смещения # 0 - PullRequest
Новая
       39

Потребитель Кафки не начинает обработку со смещения # 0

0 голосов
/ 28 января 2019

У меня есть тема с одним разделом.У меня есть 2 разные группы потребителей.У каждой группы потребителей есть потребитель.С тех пор потребительская группа № 1 работает;Я начал продюсером.С другой стороны, группа потребителей № 2 была только что запущена с параметром auto.offset.reset = самый ранний.

Хотя группа потребителей № 2 начала потреблять сообщения, которые были недавно переписаны.

Q1:Как я могу заставить потребителя в группе потребителей №2 запускаться с самого начала?

Q2: почему auto.offset.reset (https://kafka.apache.org/documentation/- Что делать, если в Kafka нет начального смещения или еслитекущее смещение больше не существует на сервере) не работает?Как это не работает, как я ожидал;это означает, что я не правильно понял.

Кафка 2.11-0.11.0.1
Confluent-python v0.11.5 

from confluent_kafka import Consumer, KafkaError
c = Consumer({
    'bootstrap.servers': 'mybroker',
    'group.id': 'mygroup', # I update group.id everytime I run
    'auto.offset.reset': 'earliest'
})
c.subscribe(['mytopic'])
while True:
    msg = c.poll(1.0)
    if msg is None:
        continue
    if msg.error():
        print("Consumer error: {}".format(msg.error()))
        continue
    print('Received message: {}'.format(msg.value().decode('utf-8')))
c.close()

Заключение : Confluent APIдля питона, кажется, есть проблема.Как auto.offset.reset отлично работает для клиентов Java.

...