Мы пытаемся создать решение для распределенного планирования. Мы можем иметь миллионы записей, подходящих для обработки в любой момент времени, нам нужно распределить данные по нескольким экземплярам планировщика. Мы думаем о решении использовать выбор лидера zookeeper, использовать лидера в качестве главного узла, который распределяет данные по рабочим узлам. Мы видим несколько ловушек, таких как избегание дубликатов, когда мастер работает каждый раз. Хотелось бы узнать, пробовал ли кто-нибудь такое решение.