Spark настроен на чтение с самого раннего смещения - выдает ошибку при попытке потребителя смещения, более недоступного на Kafka - PullRequest
Новая
       22

Spark настроен на чтение с самого раннего смещения - выдает ошибку при попытке потребителя смещения, более недоступного на Kafka

2 голосов
/ 29 апреля 2019

В настоящее время я выполняю задание на работу с Dataproc и получаю сообщения об ошибках, пытаясь повторно присоединиться к группе и прочитать данные из раздела kafka. Я немного покопался и не уверен в чем проблема. У меня auto.offset.reset установлено значение earliest, поэтому оно должно считываться с самого раннего доступного смещения без фиксации, и изначально мои журналы искры выглядят так: 

19/04/29 16:30:30 INFO     
org.apache.kafka.clients.consumer.internals.Fetcher: [Consumer 
clientId=consumer-1, groupId=demo-group] Resetting offset for 
partition demo.topic-11 to offset 5553330.
19/04/29 16:30:30 INFO     
org.apache.kafka.clients.consumer.internals.Fetcher: [Consumer 
clientId=consumer-1, groupId=demo-group] Resetting offset for 
partition demo.topic-2 to offset 5555553.
19/04/29 16:30:30 INFO 
org.apache.kafka.clients.consumer.internals.Fetcher: [Consumer 
clientId=consumer-1, groupId=demo-group] Resetting offset for 
partition demo.topic-3 to offset 5555484.
19/04/29 16:30:30 INFO 
org.apache.kafka.clients.consumer.internals.Fetcher: [Consumer 
clientId=consumer-1, groupId=demo-group] Resetting offset for 
partition demo.topic-4 to offset 5555586.
19/04/29 16:30:30 INFO 
org.apache.kafka.clients.consumer.internals.Fetcher: [Consumer 
clientId=consumer-1, groupId=demo-group] Resetting offset for 
partition demo.topic-5 to offset 5555502.
19/04/29 16:30:30 INFO 
org.apache.kafka.clients.consumer.internals.Fetcher: [Consumer 
clientId=consumer-1, groupId=demo-group] Resetting offset for 
partition demo.topic-6 to offset 5555561.
19/04/29 16:30:30 INFO 
org.apache.kafka.clients.consumer.internals.Fetcher: [Consumer 
clientId=consumer-1, groupId=demo-group] Resetting offset for 
partition demo.topic-7 to offset 5555542.```

Но затем в следующей строке я получаю сообщение об ошибке при попытке прочитать несуществующее смещение на сервере (вы можете видеть, что смещение для раздела отличается от перечисленного выше, поэтому я понятия не имею, почему оно пытается чтобы прочитать форму смещения, вот ошибка в следующей строке: 

org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets 
out of range with no configured reset policy for partitions: 
{demo.topic-11=4544296}

Есть идеи, почему моя искровая работа постоянно возвращается к этому смещению (4544296), а не к той, которую она выводит изначально (5553330)?

Кажется, что оно противоречит самому себе: а) фактическое смещение, на котором оно указано, и то, которое оно пытается прочитать, и б) отсутствие настроенной политики сброса

...