Отладка Spark автономного кластера с идеей

Question

Я пытаюсь отладить Spark Application в локальном кластере, используя главный и рабочий узлы.Я успешно настроил мастер-узел и рабочие узлы с помощью автономного диспетчера кластеров Spark с start-master.sh, и он работает. Но я хочу узнать, как Spark Application работает в кластере спарк, поэтому я хочу запустить кластер в режиме отладки.Я прочитал код start-master.sh, смоделируйте аргументы и запустите основной метод * 1003. К сожалению, он получает ошибку NoClassDefFoundError, я не могу открыть webui.Я хочу знать, где проблема.

Ошибка:

Exception in thread "dispatcher-event-loop-1" java.lang.NoClassDefFoundError: org/eclipse/jetty/util/thread/ThreadPool
    at org.apache.spark.ui.WebUI.attachPage(WebUI.scala:81)
    at org.apache.spark.deploy.master.ui.MasterWebUI.initialize(MasterWebUI.scala:48)
    at org.apache.spark.deploy.master.ui.MasterWebUI.<init>(MasterWebUI.scala:43)
    at org.apache.spark.deploy.master.Master.onStart(Master.scala:131)
    at org.apache.spark.rpc.netty.Inbox$$anonfun$process$1.apply$mcV$sp(Inbox.scala:122)
    at org.apache.spark.rpc.netty.Inbox.safelyCall(Inbox.scala:205)
    at org.apache.spark.rpc.netty.Inbox.process(Inbox.scala:101)
    at org.apache.spark.rpc.netty.Dispatcher$MessageLoop.run(Dispatcher.scala:216)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.ClassNotFoundException: org.eclipse.jetty.util.thread.ThreadPool
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 11 more

мои конфигурации отладки: введите описание изображения здесь

Спасибо!

Answer 1

Я бы предложил даже не использовать искровой автономный кластер для отладки.

1. Вы можете запустить искру локально в вашей IDE с точками останова.
2. Spark позволяет вам запускать локально, указывая на локальную файловую систему как HDFS.

Пожалуйста, перейдите по следующей ссылке, чтобы узнать больше о том, как писать тестовые случаи для локального режима в спарк http://bytepadding.com/big-data/spark/word-count-in-spark/