* * * * * Клиент не смог подключиться к датоде - PullRequest
Новая
       177

* * * * * Клиент не смог подключиться к датоде

0 голосов
/ 01 мая 2020

У меня один узел имел кластер oop на ec2. Попытался указать все возможные комбинации в файле slaves. 

May 01 2020 08:16:25.227 DEBUG org.apache.hadoop.hdfs.DFSClient - pipeline = 172.31.45.114:9866 
May 01 2020 08:16:25.227 DEBUG org.apache.hadoop.hdfs.DFSClient - pipeline = 172.31.45.114:9866 
May 01 2020 08:16:25.228 DEBUG org.apache.hadoop.hdfs.DFSClient - Connecting to datanode 172.31.45.114:9866 
May 01 2020 08:16:25.228 DEBUG org.apache.hadoop.hdfs.DFSClient - Connecting to datanode 172.31.45.114:9866 
May 01 2020 08:16:35.167 DEBUG org.apache.hadoop.ipc.Client - IPC Client (2007716372) connection to ec-x.x.x.x/x.x.x.x:54310 from vgs: closed

Я пытался привязать датодель к внешнему ip, но он не привязан, по умолчанию его привязка к внутреннему ip машины.

Также используется dfs.client.use.datanode.hostname как истина, однако клиент получает внутренний IP, а не внешний.

1 Ответ

0 голосов
/ 02 мая 2020

Чтобы запустить искру на EMR, вам нужно как минимум 2 узла (мне удалось запустить его как минимум на 3, но из того, что я читаю - полагаю, 2 тоже должно быть достаточно) - 1 узел - MASTER недостаточно , Вы нуждаетесь в МАСТЕРЕ и ЯДРЕ. Вот вам более подробное руководство, как это сделать: https://medium.com/big-data-on-amazon-elastic-mapreduce/run-a-spark-job-within-amazon-emr-in-15-minutes-68b02af1ae16

...