Получение UNKOWN_PRODUCER_ID Исключение в весенней кафке - PullRequest
Новая
       84

Получение UNKOWN_PRODUCER_ID Исключение в весенней кафке

1 голос
/ 04 мая 2020

Я использую весеннюю загрузку 2.1.9 и весеннюю Kafka 2.2.9 с транзакциями, связанными с Kafka.

Каждый раз я получаю предупреждение от производителя Kafka. из-за этого некоторое время функциональность не будет работать.

Я хочу знать, почему появляются эти ошибки? есть в конфиге проблема? 

2020-05-04 09:12:35.216  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-8] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-8, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-2] Got error produce response with correlation id 1946 on topic-partition process_event-0, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID
2020-05-04 09:12:35.327  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-8] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-8, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-2] Got error produce response with correlation id 1950 on topic-partition audit-0, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID
2020-05-04 09:12:53.512  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-6] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-6, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-0] Got error produce response with correlation id 5807 on topic-partition process_submitted_page_count-2, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID
2020-05-04 09:12:53.632  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-6] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-6, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-0] Got error produce response with correlation id 5811 on topic-partition process_event-0, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID
2020-05-04 09:12:53.752  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-6] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-6, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-0] Got error produce response with correlation id 5816 on topic-partition audit-0, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID

1 Ответ

1 голос
/ 04 мая 2020

Я предполагаю, что вы можете попасть в этот выпуск .

Когда у потокового приложения мало трафика c, возможно, что очистка потребителем удалит даже последнее сообщение, отправленное производителем (т. Е. Все сообщения, отправленные этим производителем, были использованы) и зафиксировано), и в результате брокер удалит идентификатор этого производителя. В следующий раз, когда этот производитель попытается отправить, он получит этот код ошибки UNKNOWN_PRODUCER_ID, но в этом случае эта ошибка будет повторяемой: производитель просто получит новый идентификатор производителя и выполнит повторную попытку, и на этот раз это будет успешно выполнено.

Предлагаемое решение: Обновите Kafka

Теперь эта проблема была решена для версий 2.4.0+, так что если вы все еще нажимая это вам нужно обновить до новой версии Kafka.

Альтернативное решение: Увеличить время хранения и transactional.id.expiration.ms

В качестве альтернативы, если вы не можете (или не хотите) обновлять, вы можете увеличить срок хранения ( log.retention.hours), а также transactional.id.expiration.ms, который определяет количество времени бездействия, которое должно пройти, чтобы производитель считался истекшим (по умолчанию 7 дней).

...