Нет start-history-server.sh когда pyspark установлен через conda

Question

Я установил pyspark в среде миниконды на Ubuntu через conda install pyspark.Пока все работает нормально: я могу запускать задания через spark-submit и проверять запущенные задания на localhost:4040.Но я не могу найти start-history-server.sh, который мне нужен для просмотра выполненных заданий.

Он должен быть в {spark}/sbin, где {spark} - это каталог установки spark.Я не уверен, где это должно быть, когда спарк установлен через conda, но я искал весь каталог miniconda и не могу найти start-history-server.sh.Что бы это ни стоило, это как для среды Python 3.7, так и для 2.7.

Мой вопрос: включен ли start-history-server.sh в установку pyspark в conda?Если да, то где?Если нет, каков рекомендуемый альтернативный способ оценки искровых заданий по факту?

Answer 1

РЕДАКТИРОВАТЬ: Я подал запрос на извлечение, чтобы добавить сценарии сервера истории в pyspark.Запрос на получение слияния был объединен, поэтому он должен предварительно отображаться в Spark 3.0.

---

Как указывает @pedvaljim в комментарии, это не относится к conda, каталог sbin не являетсявообще включен в pyspark.

Хорошая новость заключается в том, что вы можете просто вручную загрузить эту папку с github (то есть не знаете, как загрузить только один каталог, я только что клонировал все spark) в вашу искровую папку.Если вы используете мини- или анаконду, папка spark будет, например, miniconda3/envs/{name_of_environment}/lib/python3.7/site-packages/pyspark.