В чем разница между запуском приложения spark с использованием spark-submit и java -cp?

Question

Дело 1:

spark-submit --class main.Test --master local [4] /path/Test.jar

SparkSession sparkSession = SparkSession.builder()
    .appName("Test")
    .getOrCreate();

Дело 2:

java -cp /path/Test.jar com.main.Test

SparkSession sparkSession = SparkSession.builder()
    .appName("Test")
    .master("local[4]")
    .getOrCreate();

В чем разница между этими двумя методами?

Answer 1

Нет большой разницы. Проблемы, которые вы можете найти, связаны с развертыванием.

Случай 1: вам может понадобиться супер / супер баночка, чтобы убедиться, что все вместе.

Случай 2: в некоторых случаях, таких как AWS EMR (по крайней мере, до недавнего времени), вы не можете использовать:

SparkSession sparkSession = SparkSession.builder()
    .appName("Test")
    .master(<emr cluster's ip>)
    .getOrCreate();

Обычно вариант 1 - это разработка, а вариант 2 - развертывание. Но нет никаких обязательств.

Надеюсь, это поможет ...