Ошибка при попытке проверить pyspark. sc не определить после того, как я много пытался сделать мой bash_profile правильным - PullRequest
Новая
       28

Ошибка при попытке проверить pyspark. sc не определить после того, как я много пытался сделать мой bash_profile правильным

0 голосов
/ 23 января 2019

Я новичок в зажигании и пытаюсь заставить мой pyspark работать.

В сообщении об ошибке говорится, что он не может загрузить нативный хэдуп. Однако я уже скачал пакет hadoop и поместил его в свой домашний каталог. Мне файл bash также настроен для использования hadoop.

Мой bash-файл настроен следующим образом 

 export JAVA_HOME=$(/usr/libexec/java_home)
 export SPARK_HOME=~/spark-2.4.0-bin-hadoop2.7
 export PATH=$SPARK_HOME/bin:$PATH
 export PYSPARK_PYTHON=python3



    Python 3.6.2 |Continuum Analytics, Inc.| (default, Jul 20 2017, 13:14:59) 
    [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)] on darwin
    Type "help", "copyright", "credits" or "license" for more information.
    >>> from pyspark import SparkContext
    >>> sc =SparkContext()
    2019-01-23 09:40:26 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
      File "/Users/sa/anaconda/envs/py3/lib/python3.6/site-packages/pyspark/context.py", line 118, in __init__
        conf, jsc, profiler_cls)
      File "/Users/sa/anaconda/envs/py3/lib/python3.6/site-packages/pyspark/context.py", line 187, in _do_init
        self._accumulatorServer = accumulators._start_update_server(auth_token)
      File "/Users/sa/anaconda/envs/py3/lib/python3.6/site-packages/pyspark/accumulators.py", line 291, in _start_update_server
        server = AccumulatorServer(("localhost", 0), _UpdateRequestHandler, auth_token)
      File "/Users/sa/anaconda/envs/py3/lib/python3.6/site-packages/pyspark/accumulators.py", line 274, in __init__
        SocketServer.TCPServer.__init__(self, server_address, RequestHandlerClass)
      File "/Users/sa/anaconda/envs/py3/lib/python3.6/socketserver.py", line 453, in __init__
        self.server_bind()
      File "/Users/sa/anaconda/envs/py3/lib/python3.6/socketserver.py", line 467, in server_bind
        self.socket.bind(self.server_address)
    socket.gaierror: [Errno 8] nodename nor servname provided, or not known
...