Springboot с Spark в режиме пряжи - PullRequest
Новая
       6

Springboot с Spark в режиме пряжи

2 голосов
/ 24 января 2020

Я пытаюсь запустить сеанс live spark, используя весеннюю загрузку. Моя цель - запустить спринг в режиме Yarn с помощью Springboot.

  1. Я бы хотел, чтобы в качестве артефакта был только один файл jar, и не хочу разделять зависимости между свечами
  2. Помимо кода ниже, мне нужно добавить какую-либо конфигурацию? Когда я пытаюсь это всегда пытаться подключиться к localhost вместо фактического хоста. (RMProxy: подключение к ResourceManager по адресу /0.0.0.0:8032 20/01/23 20:14:14 Клиент INFO: повторное подключение к серверу: 0.0.0.0/0.0.0.0:8032)
  3. Есть ли отдельная конфигурация необходима для регистрации рабочих журналов вместе с журналами драйверов? 
SparkConf conf = new SparkConf().
 set("spark.driver.extraJavaOptions", "Dlog4j.configuration=file://src/main/resources/log4j.properties").
 set("spark.executor.extraJavaOptions","Dlog4j.configuration=file://src/main/resources/log4j.properties").
 set("yarn.resoursemanager.address","http://my-yarn-host").
 set("spark.yarn.jars","BOOT-INF/lib/spark-*.jar").
 setAppName("NG-Workbench").setMaster("yarn");

JavaSparkContext sc = new JavaSparkContext(conf);
List<String> word = new ArrayList<>();
word.add("Sidd");
JavaRDD<String> words = sc.parallelize(Arrays.asList("Michel", "Steve"));
Map<String, Long> wordCounts = words.countByValue();
wordCounts.forEach((k, v) -> System.out.println(k + " " + v));
sc.close();
...