Зажигать пряжу и Hortonworks - PullRequest
Новая
       11

Зажигать пряжу и Hortonworks

0 голосов
/ 25 сентября 2018

Я пытаюсь развернуть режим зажигания, чтобы я мог использовать общий кэш RDD / Dataframe для своего искрового кластера.Я следовал инструкциям по установке и выбрал развертывание в своем существующем кластере с работающей пряжей.Я использую HDP для развертывания Spark.

Я уже проверил, что Resource Manager и History server прослушивают порты, указанные ниже, и я могу подключиться по telnet к каждому порту.Что я делаю неправильно?Разве я не развертываю это так, как задумано?

Я работаю: 

yarn jar ignite-yarn-2.6.0.jar ./ignite-yarn-2.6.0.jar ../../../cluster.properties

Ошибка ниже: 

18/09/24 22:13:38 INFO client.RMProxy: Connecting to ResourceManager at dev01clus02.dna.local/172.31.31.5:8050
18/09/24 22:13:38 INFO client.AHSProxy: Connecting to Application History server at dev01clus02.dna.local/172.31.31.5:10200
Exception in thread "main" java.lang.RuntimeException: Failed update ignite.
        at org.apache.ignite.yarn.IgniteProvider.updateIgnite(IgniteProvider.java:243)
        at org.apache.ignite.yarn.IgniteProvider.getIgnite(IgniteProvider.java:93)
        at org.apache.ignite.yarn.IgniteYarnClient.getIgnite(IgniteYarnClient.java:194)
        at org.apache.ignite.yarn.IgniteYarnClient.main(IgniteYarnClient.java:84)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:233)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:148)
Caused by: java.net.SocketException: Connection reset
        at java.net.SocketInputStream.read(SocketInputStream.java:209)
        at java.net.SocketInputStream.read(SocketInputStream.java:141)
        at java.io.BufferedInputStream.fill(BufferedInputStream.java:246)
        at java.io.BufferedInputStream.read1(BufferedInputStream.java:286)
        at java.io.BufferedInputStream.read(BufferedInputStream.java:345)
        at sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:704)
        at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:647)
        at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:675)
        at sun.net.www.protocol.http.HttpURLConnection.getInputStream0(HttpURLConnection.java:1569)
        at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1474)
        at java.net.HttpURLConnection.getResponseCode(HttpURLConnection.java:480)
        at org.apache.ignite.yarn.IgniteProvider.updateIgnite(IgniteProvider.java:220)
        ... 9 more

1 Ответ

0 голосов
/ 27 сентября 2018

Похоже, фрагмент инфраструктуры, предоставленный GridGain для проекта Apache Ignite, в настоящее время не работает.Я подниму вопрос.

Тем временем вы можете предоставить IGNITE_PATH свойство (в config, system properties или env), указывающее на разархивированный каталог дистрибутива Apache Ignite 2.6, чтобы вообще избежать попыток загрузки.

...