Как запустить программу spark в режиме клиента для подключения удаленного кластера искры в IBM Analytics Engine? - PullRequest
Новая
       9

Как запустить программу spark в режиме клиента для подключения удаленного кластера искры в IBM Analytics Engine?

0 голосов
/ 11 октября 2019

Обычно я могу подключиться к удаленному кластеру в режиме клиента следующим образом: 

val conf = new SparkConf()
conf.setAppName("Spark Yarn Test")    
conf.set("spark.driver.host", "192.168.99.1")
conf.setMaster("spark://192.168.99.100:7077")
val spark = SparkSession.builder.config(conf).getOrCreate()

Но как я могу подключиться к искровому кластеру в IBM Analytics Engine в IBM Cloud? Я попытался использовать режим пряжи, как показано ниже, но, к сожалению, я не могу найти конечную точку для менеджера ресурсов пряжи. 

val conf = new SparkConf()
conf.setAppName("Spark Yarn Test")    
conf.set("spark.hadoop.yarn.resourcemanager.address", "<resource-manager-endpoint>")
conf.set("spark.driver.host", "192.168.99.1")
conf.setMaster("yarn-client")  
val spark = SparkSession.builder.config(conf).getOrCreate()

Пожалуйста, помогите в этом.

...