Проблемы с HTTP-сообщением при отправке приложения spark в HDInsights - PullRequest
Новая
       21

Проблемы с HTTP-сообщением при отправке приложения spark в HDInsights

0 голосов
/ 24 сентября 2018

Я использую язык программирования Scala.

Приведенный ниже код отлично работает, когда я запускаю его на листе Scala.

У меня есть два вопроса:

  1. Когда я отправляю приложение Spark (с тем же кодом) в HDInsights, я получаю следующее исключение:

    Исключение класса пользователя: java.net.UnknownHostException: url-Dev: Имя илислужба не известна.

    Почему она не находит url-Dev?

  2. Как передать учетные данные этому почтовому запросу? 

    import org.apache.http.client.methods.HttpPost
import org.apache.http.impl.client.DefaultHttpClient
import org.apache.http.entity.StringEntity
import org.apache.http.util.EntityUtils

val url = "http://url-Dev";
val post = new HttpPost(url)
post.setEntity(new StringEntity("json"))

val client = new DefaultHttpClient   
val response = client.execute(post)    
val entity = response.getEntity()    
val content = EntityUtils.toString(entity)
println(content)

1 Ответ

0 голосов
/ 24 сентября 2018

url-dev - это локальный адрес в вашей сети.Кластер HDInsight работает в виртуальной сети в Azure.Оттуда не будет подключения к вашей локальной сети.Вам необходимо безопасно открыть URL-адрес в Интернете, чтобы к нему можно было получить доступ из Azure, а затем использовать эту общедоступную конечную точку и механизм аутентификации.Вы также можете сделать более расширенный вариант пиринга локальной сети с помощью Azure VNet.

...