Что такое конфигурация для запуска spark на нескольких ядрах в Java - PullRequest
Новая
       7

Что такое конфигурация для запуска spark на нескольких ядрах в Java

0 голосов
/ 05 октября 2018

Когда я устанавливаю spark локально на моем сервере, я использую следующий код в pyspark, чтобы указать количество ядер, которые нужно использовать для приложения spark.Но когда я использую проект Java для установки через зависимости maven и запускаю программу spark-java, одна и та же конфигурация не распараллеливается на нескольких ядрах.

Я использую .master("local[36]") для указания 36 ядер.Есть ли другой способ сделать это, поскольку это не работает в Java. 

 SparkSession spark  = SparkSession
                .builder()
                .master("local[36]")
                .config("spark.hadoop.fs.s3a.impl","org.apache.hadoop.fs.s3a.S3AFileSystem")
                .config("spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version", "2")
                .config("spark.sql.shuffle.partitions", "1000")
                .getOrCreate();

Некоторая помощь будет по-настоящему оценена.

...