spark2-submit отличается от spark-submit

Question

Чем spark2-submit отличается от spark submit. Мне нужно перенести код из spark 1.6 to spark 2.4 Могу ли я по-прежнему использовать spark-submit для запуска своего приложения или необходимо перейти в spark2-submit.

Answer 1

Я думаю, что вы используете Cloudera Hadoop. Версии Spark 2.x значительно изменились по сравнению с версиями 1.x. В некотором смысле, есть проблемы совместимости. Поэтому, когда ваши существующие производственные задания, которые использовали версию 1.x, работают на 2.x, есть больше шансов, что ваша работа может потерпеть неудачу.

Просто для обеспечения обратной совместимости, Cloudera добавил «spark2-submit» и попросил пользователей использовать его для всех заданий «go-forward». И "spark-submit" все равно будет использовать версию 1.x, и вам не нужно трогать какие-либо рабочие задания.

Так что это просто из соображений совместимости.

Answer 2

Вы можете использовать spark-submit для Spark 2.X после установки следующих переменных среды:

1) SPARK_HOME для пути к клиенту spark2 (например, / usr / hdp / current / spark2-client) 2) SPARK_MAJOR_VERSION = 2

Используя эти две конфигурации, даже если на кластере установлены и Spark 1.x, и Spark 2.x, вы можете запускать задания с помощью Spark 2.x с помощью таких же команд, как spark-shell, spark-submit