org.apache.kafka.clients.consumer.RetriableCommitFailedException: сбой фиксации смещения с повторяющимся исключением

Question

я получаю это исключение при использовании небольших пакетов от kafka и использовании commitAsync

couldn't ack 17 messages
org.apache.kafka.clients.consumer.RetriableCommitFailedException: Offset commit failed with a retriable exception. You should retry committing the latest consumed offsets.
Caused by: org.apache.kafka.common.errors.DisconnectException

Похоже, что тема __consumer_offset не смогла реплицироваться в течение 5 секунд (по умолчанию offsets.commit.timeout.ms).

У других потребителей того же приложения, где я отправляю большие партии в kafka, я не вижу этой ошибки

config.put("client.id", InetAddress.getLocalHost().getHostAddress() + "_" + clientId + "_" + Thread.currentThread());
        config.put("group.id", "some-id");
        config.put("bootstrap.servers", clusterUrl);
        config.put("auto.offset.reset", "latest");
        config.put("heartbeat.interval.ms", 3000);
        config.put("session.timeout.ms", 60000);
        config.put("request.timeout.ms", 60000 + 5000);
        config.put("enable.auto.commit", "false");
        config.put("key.deserializer", StringDeserializer.class.getName());
        config.put("value.deserializer", StringDeserializer.class.getName());
        config.put("fetch.min.bytes", 1000000);
        config.put("max.partition.fetch.bytes", 1000000);
        config.put("fetch.max.wait.ms", 50);

Что может вызвать это?

Answer 1

Это концепция kafka connect.Когда мы получим исключение, которое можно повторить, пользовательское принятие не произойдет, и тот же пакет будет повторен снова.

Он будет повторен 10 раз по умолчанию с интервалом попытки 3 секунды.

https://docs.confluent.io/current/connect/kafka-connect-jdbc/sink-connector/sink_config_options.html#retries