Следуя этим инструкциям: https://www.linode.com/docs/databases/hadoop/install-configure-run-spark-on-top-of-hadoop-yarn-cluster/ Я установил кластер из 3 узлов и смог запустить spark-shell.Но когда я пытаюсь запустить pyspark, я получаю эти сообщения:
hadoop@master:~$ pyspark
Python 3.7.1 (default, Dec 14 2018, 19:28:38)
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
19/02/15 21:51:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
19/02/15 21:51:06 WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
19/02/15 21:51:12 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
и экран зависает (других сообщений нет).Я понятия не имею, как я могу решить эту проблему.
PS: Как объяснено в ссылке, я сначала развернул 3-х узловый кластер hadoop-yarn, а затем установил spark на главном узле (после запуска yarn-start.sh.