Нужно ли загружать бинарный пакет spark в http / s3 / hdfs?

Question

Я пытаюсь запустить оболочку spark на кластере мезос.

Начиная с этой документации , нам нужно загрузить двоичный пакет spark в место, доступное для Mesos.

Разве мы не можем просто предоставить прямую ссылку, с которой мы загружаем пакет spark, на spark.executor.uri?В настоящее время: http://apache.mediamirrors.org/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

Answer 1

Если агенты Mesos могут получить доступ к общедоступному Интернету, это должно работать.Недостатком может быть более медленное время загрузки и т. Д.