Существуют ли какие-либо параметры конфигурации искры, которые можно настроить для уменьшения потребления памяти узлом драйвера?
Я использую pyspark, scikit-learn и joblibspark для выполнения распределенного гиперпараметра RandonSearchCV на YARN кластер. Похоже, что потребление памяти узлом драйвера примерно равно сумме потребления памяти всеми рабочими узлами. Поскольку потребление памяти на узел ограничено, узел драйвера очень быстро достигает этого предела.