Я запускаю задание spark sql со следующими настройками.
- executor-cores 2 \ --executor-memory 15g \ --num-executors 5 \ --driver-cores 2 \ -memory-memory 4g \ --conf spark.executor.memoryOverhead = 1024m \
При запуске моей работы в кластерном интерфейсе Spark на вкладке «Этапы» отображаются все задачи, выполненные .. на вкладке «Исполнители»все исполнители находятся в завершенном состоянии.
Похоже, ни один из них не запускается из Spark UI для этого задания.Но задняя часть все еще работает, ..ie из cmd. При проверке заданий пользовательского интерфейса Spark. Мое задание имеет статус Состояние -> ЗАПУСК FinalStatus -> НЕ УКАЗАНО
Я не могу получить журналы задания.
Что не так с моей работой?Как решить эту проблему?