Установка искры для производства, установка пипса или нет?

Question

Я бы хотел установить Pyspark 2.4.4. Я видел, что могу загрузить пакет Spark или использовать установку pip. Мне нужен только Pyspark, они одинаковы для обеих установок?

Answer 1

вы можете сделать python pip install pyspark, но он не поставляется с бинарными файлами oop, необходимыми для правильной работы искры.

Самый простой способ установки - использовать python findspark

скачать файл .tgz с сайта * spark , который поставляется с oop двоичными файлами

pip install findspark

In Python:

import findspark

finspark.init('\path\to\extracted\binaries\folder')

import pyspark