Spark с Docker Swarm: незаконный символ в имени хоста - PullRequest
Новая
       23

Spark с Docker Swarm: незаконный символ в имени хоста

0 голосов
/ 13 сентября 2018

У меня есть Spark и Hadoop кластер, которые были построены с Docker Swarm.Они идентифицируются в одной сети.Я пишу простой пример WordCount с Scala: 

val spark = SparkSession.builder().master("local").appName("test").getOrCreate()
val data = spark.sparkContext.textFile("hdfs://10.0.3.16:8088/Sample.txt")

val counts = data.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
counts.foreach(println)

Когда я запускаю код в контейнере master узла spark, IP-адрес меняется вместе с именем контейнера и возникает ошибка

Недопустимый символ в имени хоста с индексом 12: hdfs: //spark_namenode.1.ywlf9yx9hcm4duhxnywn91i35.spark_overlay: 9000

, и я не могу изменить имя контейнера, поскольку оно не разрешено в Docker Swarm.

...