UNKOWN_PRODUCER_ID и удаление раздела журнала изменений магазина - PullRequest
Новая
       3

UNKOWN_PRODUCER_ID и удаление раздела журнала изменений магазина

0 голосов
/ 07 февраля 2019

kafka-streams создает множество неявных тем в зависимости от топологии нашего kafka-stream. В последнее время, когда мы внесли некоторые несовместимые изменения в схемы avro, мы сказали нашим администраторам удалить эти темы, а также каталоги для хранилищ kafka-stream..

Теперь мы начали видеть некоторую исключительную ситуацию UnkownProducerIdException в наших журналах.Может ли удаление этих неявных тем создать такое исключение?

Мы всегда предполагали, что если мы удаляем эти темы и сохраняем их при перезапуске приложения kafka-stream, они будут созданы и поддержаны автоматически, верно ли это предположение?

Я вижу в apache проблемы JIRA KAFKA-6817, KAFKA-7190 и KIP-360 для UNKOWN_PRODUCER_ID, но они, похоже, не связаны напрямую с out.

Что должно быть правильным действием для нашего случая(изменена схема AVRO), разрешено ли нам удалять эти неявные темы и сохранять или мы должны делать что-то еще?

Также флаг 'auto.topic.create.enable' влияет на создание этих неявныхтемы?

Спасибо за ответы.

1 Ответ

0 голосов
/ 08 февраля 2019

Теперь мы начали видеть некоторое исключение UnkownProducerIdException в наших журналах.Может ли удаление этих неявных Тем создать такое исключение?

Да.

Мы всегда предполагали, если мы удаляем эти темы и сохраняем, когда мы перезапустим приложение kafka-stream,они будут созданы и поддерживаются автоматически, верно ли это предположение?

Да, Kafka Streams будет воссоздавать эти темы.

Также имеет значение 'auto.topic.create.enable'Флаг имеет какое-либо влияние на создание этих скрытых тем?

Нет.Kafka Streams не полагается на автоматическое создание темы (фактически, вообще рекомендуется отключить автоматическое создание темы), но выдает явный запрос на создание темы через AdminClient.

...