не могу найти модуль 'graphframes' - Jupyter

Question

Я пытаюсь установить пакет graphframes, следуя инструкциям, которые я уже прочитал.

Моей первой попыткой было сделать это в командной строке:

 pyspark--packages graphframes:graphframes:0.5.0-spark2.1-s_2.11

Это прекрасно работает, и загрузка была успешно завершена в машине.

Однако, когда я пытаюсь импортировать пакет в записную книжку Jupyter, появляется сообщение об ошибке:

can't find module 'graphframes'

Моя первая попытка - скопировать папку пакета / graphframes в / site-packages, но я не могу сделать это с помощью простой команды cp.

Я довольно новичок в использовании spark, и я уверен, что мне не хватает некоторых частей конфигурации ...

Не могли бы вы мне помочь?

Answer 1

Это было то, что у меня сработало.

Извлечь содержимое файла graphframes-xxx-xxx-xxx.jar. Вы должны получить что-то вроде

graphframes
 | -- examples
       |-- ...
 | -- __init__.py
 | -- ...

Заархивируйте всю папку (не только содержимое) и назовите ее как хотите. Мы просто назовем это graphframes.zip.

Затем запустите оболочку pyspark с

pyspark --py-files graphframes.zip \
    --packages graphframes:graphframes:0.5.0-spark2.1-s_2.11

Возможно, вам придется сделать

sc.addPyFile('graphframes.zip')

до

import graphframes