Можно ли как-то сказать главному узлу не назначать больше задач определенному рабочему узлу в Apache Spark?
Существует подробный блог по занесению в черный список узлов.
https://blog.cloudera.com/blog/2017/04/blacklisting-in-apache-spark/