Что делать, если исходный соединитель debezium kafka connect не может произвести kafka

Question

Я использую разъем источника дебезия для подключения mongoDB к SMT и AvroConverter.

При возникновении ошибки сериализации из-за совместимости соединитель пропускает записи об ошибках или повторяет попытку отправки записи об ошибке?

Я установил error.tolerance = 'all' (должно быть errors.tolerance = 'all'). Я думаю, что соединитель не передает смещение обратно в kafka, поэтому соединитель продолжает повторять попытку отправки записи, я прав?

Answer 1

Если я правильно понимаю, вы можете настроить поведение повторных попыток, например:

# retry for at most 10 minutes times waiting up to 30 seconds between consecutive failures
errors.retry.timeout=600000
errors.retry.delay.max.ms=30000

Если предел повторения для сбоя достигнут, то предел допуска используется для определения, следует ли пропустить эту запись (errors.tolerance=all), или если задача должна быть убита (errors.tolerance=none).

Подробнее в KIP-298 : Обработка ошибок в Connect .