, отвечая на мой собственный вопрос на случай, если у кого-то возникнет такая же проблема - похоже, это связано с искаженными данными, которые вызывали длительные задержки.это было вызвано использованием объединения вместо перераспределения данных, что делило данные неравномерно.Кроме того, я также кэшировал фрейм данных после разбиения, поэтому обработанный выполнялся локально (process_local), а не node_local и rack_locak.