kafka connect - исключение jdbc - PullRequest
       13

kafka connect - исключение jdbc

0 голосов
/ 15 марта 2019

Я использую конфлюэнтный выпуск сообщества для простой установки, состоящей из клиента отдыха, вызывающего прокси-сервер отдыха Kafka, а затем помещающего эти данные в базу данных оракула с помощью предоставленного соединителя приемника jdbc.

Я заметил, что если есть, например, исключение sql, если фактическая длина данных больше, чем фактическая (определена длина столбца), задача останавливается, и если я ее перезапускаю, она пытается вставить то же самоеошибочный вход и он остановился.Он не вставляет другие записи.

Разве я не могу зарегистрировать ошибочную запись и позволить задачам продолжить вставку других данных?

1 Ответ

2 голосов
/ 15 марта 2019

Платформа Kafka Connect для Sink Connectors может пропускать проблемные записи только тогда, когда возникает исключение во время: - Ключ или значения преобразования (Converter:toConnectData(...)) - Преобразование (Transformation::apply)

Для этого вы можете использовать свойство errors.tolerance:

"errors.tolerance": "all"

Существуют некоторые дополнительные свойства для печати сведений об ошибках: errors.log.enable, errors.log.include.messages. Оригинальный ответ: Соединитель JDBC Apache Kafka - SerializationException: Неизвестный магический байт

Если во время доставки сообщений возникнет исключение Sink Task уничтожен. Если вам необходимо устранить ошибку связи (или другие ошибки) с внешней системой, вам необходимо добавить поддержку для вашего разъема

Jdbc Connector , когда выбрасывается SQLException, удаляется, но не пропускает никаких записей

Количество выбывших и интервал между ними определяется следующими свойствами

  • max.retries значение по умолчанию 10
  • retry.backoff.ms по умолчанию 3000
...