Нужно ли устанавливать что-то еще, кроме пакета релизов Spark?

Question

Кажется, есть два способа установить Spark.

1. При установке Spark путем загрузки готового выпуска Spark (например, spark-2.4.5-bin-hadoop2.7.tgz) из https://spark.apache.org/downloads.html,

   • мне нужно дополнительно установить команду java, установив JRE?

   • Нужно ли дополнительно устанавливать java компилятор javac путем установки JDK?

   • Нужно ли дополнительно устанавливать scala компилятор? (Наверное, нет, потому что я увидел, что скачанный релиз Spark содержит ./jar/scala-compiler.jar.)

   • Нужно ли дополнительно устанавливать pyspark? (Наверное, нет, потому что я видел, что скачанный релиз Spark содержит ./bin/pyspark.)

2. При установке Spark с помощью pip install pyspark, он уже устанавливает spark для Java и для Scala? Или мне нужно дополнительно установить некоторые вещи для программирования приложений Spark на Java и Scala?

Спасибо.

Answer 1

https://spark.apache.org/faq.html

мне нужно дополнительно установить команду java, установив JRE?

yes, см. Faq.

Нужно ли дополнительно устанавливать java компилятор javac путем установки JDK?

нет. Я думаю, нет, но я всегда использую SDK.

Нужно ли дополнительно устанавливать scala компилятор? (Наверное, нет, потому что я увидел, что скачанный релиз Spark содержит ./jar/scala-compiler.jar.)

no

Нужно ли дополнительно установить pyspark? (Наверное, нет, потому что я видел, что скачанный релиз Spark содержит ./bin/pyspark. уже установить спарк для Java и для Scala?

да.

tree .venv/lib/python3.6/site-packages/pyspark/bin
.venv/lib/python3.6/site-packages/pyspark/bin
├── beeline
├── beeline.cmd
├── docker-image-tool.sh
├── find-spark-home
├── find-spark-home.cmd
├── load-spark-env.cmd
├── load-spark-env.sh
├── pyspark
├── pyspark.cmd
├── pyspark2.cmd
├── run-example
├── run-example.cmd
├── spark-class
├── spark-class.cmd
├── spark-class2.cmd
├── spark-shell
├── spark-shell.cmd
├── spark-shell2.cmd
├── spark-sql
├── spark-sql.cmd
├── spark-sql2.cmd
├── spark-submit
├── spark-submit.cmd
├── spark-submit2.cmd
├── sparkR
├── sparkR.cmd
└── sparkR2.cmd

Или мне нужно дополнительно установить некоторые вещи для программирования приложений Spark в Java и Scala?

для программирования в scala вам нужно установить scala, чтобы фактически создать jar-файл приложения.

Я думаю, что использовать загруженный выпуск проще для миграции, чтобы запустить что-то в кластере.