Зачем нам нужно больше исполнителей, чем количество машин в Spark?

Question

Какова логика запроса большего количества исполнителей, чем машин, доступных в вашем кластере?

В идеальной ситуации нам бы хотелось, чтобы на каждом из наших компьютеров было по 1 исполнителю (= 1 jvm), а не на каждом.
Если нет, то почему?

Заранее спасибо

Answer 1

В идеальной ситуации нам бы хотелось, чтобы на каждом из наших компьютеров было по 1 исполнителю (= 1 jvm), а на каждом - не меньше.

Не обязательно.В зависимости от объема доступной памяти и реализации JVM отдельные виртуальные машины могут быть гораздо лучшим вариантом, в частности:

• Улучшение управления памятью на больших машинах - см., Например, Почему 35 Гб динамической памятиМенее 32 ГБ - странности памяти Java JVM .
• Для повышения отказоустойчивости при нестабильных рабочих нагрузках - в случае сбоя одной JVM вы потеряете работу для всех соответствующих потоков, поэтому уменьшение размеров может держать все под контролем.
• Для минимизации усилий, необходимых для GCтюнинг - очень большие экземпляры могут быть чрезвычайно болезненными для настройки.