Spark-Not, отправляющий задания узлам в кластере

Question

Я выполнил настройку свечи в режиме автономного кластера (Windows 7). Я могу зарегистрировать 2 узла и проверить то же самое на интерфейсе искры. Но когда я отправляю работу, ее статус всегда остается как ОЖИДАНИЕ.

Нет проблем с брандмауэром или разрешением для журнала / рабочего каталога для рабочих узлов.

Любая помощь будет по достоинству оценена.

Answer 1

Я провел некоторый тест на моей локальной машине (Windows 10 с WSL):

1. Запустил мастер: ./sbin/start-master.sh
2. Запущен раб с главным URL: ./sbin/start-slave.sh
3. Отправленный пример sparkpi и приложение ожидает:
   ./spark-submit --executor-cores 64 --master spark://[master-hostname]:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.0.jar
4. Отправленный пример sparkpi и приложение завершено: ./spark-submit --executor-cores 4 --master spark://[master-hostname]:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.0.jar

Так что, как я и epcpu сказали, вы, возможно, запрашиваете слишком много ресурсов в вашем кластере, а менеджер ресурсов ждет, пока они не станут доступными.