бегущая искра 2.3 с питоном 3.х на пряже - PullRequest
Новая
       14

бегущая искра 2.3 с питоном 3.х на пряже

0 голосов
/ 26 мая 2018

Я пытаюсь запустить пример pi.py с использованием spark-submit, но я получаю следующую ошибку, 

Python 3.6.5
[GCC 4.3.4 [gcc-4_3-branch revision 152973]] on linux
Type "help", "copyright", "credits" or "license" for more information.
Traceback (most recent call last):
  File "/var/lib/spark/python/pyspark/shell.py", line 31, in <module>
    from pyspark import SparkConf
  File "/var/lib/spark/python/pyspark/__init__.py", line 110, in <module>
    from pyspark.sql import SQLContext, HiveContext, Row
  File "/var/lib/spark/python/pyspark/sql/__init__.py", line 45, in <module>
    from pyspark.sql.types import Row
  File "/var/lib/spark/python/pyspark/sql/types.py", line 27, in <module>
    import ctypes
  File "Python-3.6.5_suse/lib/python3.6/ctypes/__init__.py", line 7, in <module>
    from _ctypes import Union, Structure, Array
ImportError: libffi.so.4: cannot open shared object file: No such file or directory

Я новичок в python и spark, но когда я устанавливаю путь PYSPARK_PYTHON в spark-defaults.Если использовать более старую версию Python, например 3.3.x, то она работает отлично.

Я что-то неправильно настраиваю или мне нужна другая библиотека?Это похоже на проблему с библиотеками.

Спасибо!

1 Ответ

0 голосов
/ 30 мая 2018

Я нашел, в чем проблема!В моем небольшом кластере пряжи есть разные ОС, некоторые из которых имеют несколько сантиметров, и когда я установил PYSPARK_PYTHON в spark-env.sh, в этой конфигурации был центральный путь к питону, поэтому библиотеки не совпадали, и это вызывало ошибку libffi.so.Таким образом, проверка типа хост-системы по пути lib python была полезной.После того, как я установил правильный путь и запустил 

./bin/spark-submit --deploy-mode client examples/src/main/python/pi.py

, я смог убедиться, что локальные библиотеки установлены правильно.Мне не нужно было устанавливать никаких дополнительных библиотек Python, таких как pyspark или py4j, как это предлагается в комментариях или других ответах.

...