Kafka Connect - Не удалось зафиксировать смещения и сброс - PullRequest
Новая
       60

Kafka Connect - Не удалось зафиксировать смещения и сброс

1 голос
/ 20 февраля 2020

У меня были приостановлены коннекторы Kafka, и после их перезапуска я получил эти ошибки в своих журналах 

[2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
************
************
[2020-02-19 19:36:00,216] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 2389 messages (org.apache.kafka.connect.runtime.WorkerSourceTask)

Я получал эту ошибку несколько раз с изменением количества ожидающих сообщений. Потом он остановился и больше не видел.

Нужно ли предпринимать какие-либо действия здесь или Connect повторил попытку и зафиксировал смещения, и поэтому ошибка прекратилась?

Спасибо

1 Ответ

2 голосов
/ 20 февраля 2020

Ошибка указывает на то, что буферизовано много сообщений, и их нельзя сбросить до истечения времени ожидания. Чтобы решить эту проблему, вы можете

  • либо увеличить offset.flush.timeout.ms параметр конфигурации в ваших конфигурациях Kafka Connect Worker
  • , либо уменьшить объем буферизуемых данных, уменьшив значение producer.buffer.memory в ваши рабочие настройки Kafka Connect Worker. Это лучший вариант, когда у вас довольно большие сообщения.
...