Расположение файла spark-defaults.conf при использовании sbt - PullRequest
0 голосов
/ 12 июня 2018

Где я могу найти файл spark-defaults.conf, когда я импортирую искру из sbt с jar-файлами.Я использую игровой фреймворк / веб-сервис, который использует spark, и мне нужно добавить конфигурацию в spark-defaults.conf, чтобы иметь возможность подключиться к neo4j.Как я могу определить такую ​​конфигурацию или есть способ сделать это?Спасибо.

1 Ответ

0 голосов
/ 12 июня 2018

Оставив ответ на тот случай, если кто-то может его использовать в будущем.При определении вашей sparkSession используйте метод .config для определения любой конфигурации, которую вы обычно помещаете в spark-defaults.conf, поэтому в этом случае я использовал:

val spark: SparkSession = SparkSession.builder.appName("Simple Application")
  .config("spark.master", "local")
  .config("spark.neo4j.bolt.password", "mypassowrd")
  .getOrCreate()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...