уменьшение по ключу с последующим foreachpartition в искре

Question

Я понимаю, в spark, что редукционный ключ будет сначала уменьшать локально на каждом разделе, а затем выполнять случайное перемешивание.Тем не менее, если у меня есть RedubyKey, за которым следует действие foreachpartition, будет ли redubykey по-прежнему выполнять глобальное уменьшение или оно будет ограничивать уменьшение для каждого уровня раздела и не будет перемешивать различные разделы?

Answer 1

Последующее действие никак не влияет на reduceByKey.Независимо от того, что это reduceByKey (или любой другой подобный метод) будет перетасовывать данные как обычно.