У нас есть автономный кластер Spark, работающий на рабочих экземплярах AWS с автоматическим масштабированием. Есть ли способ в Spark, мы можем настроить менеджер ресурсов для использования нового работника только после того, как все ресурсы на существующих будут исчерпаны.
Это необходимо, потому что мы часто видим сценарий, в котором задействовано 6 активных работников и используется только очень небольшое количество ядер, но для всех работников. Это делает кластер недостаточно загруженным. Если бы он выделил все ядра на одном работнике, а затем перешел бы к другому только после использования всех ресурсов на одном работнике, политика уменьшения масштаба привела бы к остановке неработающего работника и, таким образом, к экономии $$$.