Я думал о том, как уменьшить искровой кластер на основе его использования ресурсов, и нашел
https://databricks.com/blog/2018/05/02/introducing-databricks-optimized-auto-scaling.html
Там написано
Во время сокращения служба Databricks удаляет работника, только если
находится в режиме ожидания и не содержит никаких случайных данных, которые используются
запущенные запросы. Поэтому на выполнение заданий и запросов это не влияет
во время уменьшения
Это звучит разумно. Однако есть ли у Spark какой-либо API-интерфейс для определения того, «содержит ли узел данные случайного характера»?