Я создаю Kafka Connector, который загружает список запрашиваемых элементов. Этот список элементов распределяется между различными задачами. Допустим, у нас есть 100 элементов и 4 tasks.max настроены, каждая задача будет иметь 25 элементов для работы.
Меня беспокоит тот факт, что tasks.max обозначает МАКСИМАЛЬНОЕ задач, не стабильный номер. Кафка может остановить некоторые задачи, если ему это нужно.
Я хотел бы пересчитать список элементов внутри каждой задачи после каждой полной итерации, просто чтобы быть уверенным, что мы не потеряем никакой информации, если задача остановлена. Но для этого мне нужно изнутри реализации SourceTask узнать, сколько запущено активных задач и какой у меня номер задачи.
В настоящее время я даю номер задачи и значение tasks.max каждой задаче изреализация SourceConnector, внутри метода taskConfigs, который я инициализирую для каждой задачи.
Может быть, Kafka перезапускает этот метод каждый раз, когда он наращивает экземпляры задачи (поэтому моей проблемы не существует) ... но я не могуЛюбая информация об этом.
Заранее благодарен за помощь!