не удалось подключить искру hadoop - PullRequest
Новая
       5

не удалось подключить искру hadoop

0 голосов
/ 24 сентября 2019

Я новичок в работе с заданиями Spark и в конфигурации Spark

Я пытаюсь отправить задание Spark, через несколько минут (задание принимается и выполняется в течение нескольких минут), задание не выполняется с отклоненным соединением. 

User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: ShuffleMapStage 2 

 Most recent failure reason: org.apache.spark.shuffle.FetchFailedException: Failed to connect to my.domain.com/myIp:portNumber

У меня также есть эта ошибка с успешным выполнением задания 

ERROR shuffle.RetryingBlockFetcher: Exception while beginning fetch of 1 outstanding blocks

На моем компьютере с intellij Представьте, что мой рабочий поворот не является кодовой ошибкой

Я пытаюсь несколько раз изменить конфигурацию в yarn-site.xml и mapred-site.xml

Это кластер HADPS HADOP, 3 узла, 2 ядра на каждом узле, 8 ГБ ОЗУ на каждом узле, я пытаюсьотправить с помощью этой командной строки: 

spark-submit --packages org.apache.spark:spark-avro_2.11:2.4.3 --class MyClass --master yarn --deploy-mode cluster myJar.jar

mapred-site.xml: 

<property>
   <value>yarn</value>
   <name>mapreduce.framework.name</name>
</property>
<property>
   <name>yarn.app.mapreduce.am.env</name>
   <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
     <name>mapreduce.reduce.env</name>
     <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>1000</value>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1000</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.resource.mb</name>
    <value>2000</value>
</property>

yarn-site.xml 

<property>
   <name>yarn.acl.enable</name>
   <value>0</value>
</property>

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ipadress</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4000</value>
</property>

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>500</value>
</property>

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2000</value>
</property>

spark-default.conf

spark.master yarn
spark.driver.memory 1g    
spark.history.fs.update.interval  30s
spark.history.ui.port  port
spark.core.connection.ack.wait.timeout 600s
spark.default.parallelism 2
spark.executor.memory 2g
spark.cores.max 2
spark.executor.cores 2
...