В методах Start и TaskConfig коннектора Kafka мы можем проверить свойство tasks.max и узнать максимальное количество задач, которые должны быть созданы. Однако возможно ли в логе соединителя c узнать, сколько задач на самом деле создано.
Мой сценарий выглядит следующим образом: у коннектора есть tasks.max = 4 Исходная система имеет 100 записей. Я хочу разделить нагрузку между доступными задачами. Скажите пройти 25 для каждого задания. Это я хочу сделать, передав критерии фильтрации в методе коннектора TaskConfig.
Однако откуда мне знать, что на самом деле у коннектора есть только 3 запущенных задачи. В таком случае я бы хотел, чтобы каждая задача обрабатывала 33 записи? Возможно ли это?
Если нет, то что произойдет, если я передам фильтр, который делит это на 25 записей, и есть только 3 запущенных задачи. Остальные 25 никогда не будут выбраны или будет создана четвертая задача, если и когда ресурс будет доступен.
Я понимаю, что есть API отдыха, который я могу использовать для проверки состояния задач. Но мне это нужно во время работы самого коннектора, а не в качестве внешнего API.