В соответствии с документацией искровой документации,
*
Для использования этой функции есть два требования.Во-первых, ваше приложение должно установить для spark.dynamicAllocation.enabled значение true.Во-вторых, вы должны настроить внешнюю службу перемешивания на каждом рабочем узле в том же кластере и установить для spark.shuffle.service.enabled значение true в своем приложении.Назначение службы внешнего перемешивания состоит в том, чтобы разрешить удаление исполнителей без удаления записанных ими файлов перемешивания (более подробное описание приведено ниже).Способ настройки этой службы варьируется в зависимости от менеджеров кластера:
В автономном режиме просто запустите своих работников, установив для spark.shuffle.service.enabled значение true.
*
Я пытаюсь запустить рабочий с помощью приведенной ниже команды
nohup ./spark-class --conf spark.shuffle.service.enabled=true org.apache.spark.deploy.worker.Worker spark://10.180.85.254:7077
Эта команда не запускает рабочий в фоновом режиме.Кто-нибудь может предложить правильную команду?