Когда я запустил код PySpark, созданный с помощью Jupyter Notebook веб-интерфейсов кластера Dataproc, я обнаружил, что работающий код не использует все ресурсы ни из узлов главного узла, ни из узлов рабочих станций. Он использует только часть из них. Я нашел решение этой проблемы в ответе на вопрос «Изменение свойств планировщика на FIFO».
У меня есть два вопроса: 1) Как изменить свойства планировщика?
2)Есть ли другой способ заставить PySpark использовать все ресурсы, кроме изменения свойств планировщика?
Заранее спасибо