Мне было интересно, когда Spark назначает раздел каждому работнику во время операции map (). Я предполагаю, что это может быть один из следующих двух вариантов:
- Spark назначает все разделы рабочим до начала вычислений
- Spark назначает по одному разделу каждому работнику в самом начале. И после того, как каждый работник завершил обработку своего раздела, он получил новый раздел для обработки и так далее.
Подскажите, пожалуйста, какую стратегию использует Spark?
Спасибо