я следую документу amazon по отправке искровых заданий в кластер emr https://aws.amazon.com/premiumsupport/knowledge-center/emr-submit-spark-job-remote-cluster/
после следования инструкциям, с частым устранением неполадок, из-за нерешенного адреса с сообщением, похожим на.
ОШИБКА spark.SparkContext: Ошибка инициализации SparkContext.java.lang.IllegalArgumentException: java.net.UnknownHostException: ip-172-32-1-231.us-east-2.compute.internal в org.apache.hadoop.security.SecurityUtil.buildTokenService (SecurityUtil.java:374)в org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy (NameNodeProxies.java:310) в org.apache.hadoop.hdfs.NameNodeProxies.createProxy (NameNodeProxies.java:176)
1009
*что IP-адрес, который он пытался определить, был главным узлом, я изменил его с помощью sed на общедоступный в файлах конфигурации (полученных из каталога / etc / hadoop / conf в главном узле).).но затем ошибка соединяется с датодами
INFO hdfs.DFSClient: Исключение в createBlockOutputStream org.apache.hadoop.net.ConnectTimeoutException: 60000 миллисайм-аутов в ожидании готовности канала к соединению.ch: java.nio.channels.SocketChannel [удаленный в ожидании соединения = / 172.32.1.41: 50010] в org.apache.hadoop.net.NetUtils.connect (NetUtils.java:533) в org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline (DFSOutputStream.java:1606) в org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.createBlockOutputStream (DFSOutputStream.java:1404) в org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.nextBlockOutputStream (DFSOutputStream.java:1357) at org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.run (DFSOutputStream.java:587) 19/02/08 13:54:58 INFO hdfs.DFSClient: Отказаться от BP-1960505320-172.32.1.231-1549632479324: blk1010
наконец, я попробовал то же решение, что и этот вопрос = Исключение Spark HDFS в createBlockOutputStream при загрузке файла ресурса
, который должен был быть добавлен на hdfs-сайт.XML-файл следующий:
<property>
<name>dfs.client.use.datanode.hostname</name>
<value>true</value>
</property>
, но ошибка сохраняется как исключение неразрешенного адреса
19/02/08 13:58:06 WARN hdfs.DFSClient: DataStreamer Exception
java.nio.channels.UnresolvedAddressException
at sun.nio.ch.Net.checkAddress(Net.java:101)
at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:622)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:192)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)
at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1606)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1404)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1357)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:587)
Может кто-нибудь помочь мне настроить спарк на моей локальной машине сделать иск-отправку на удаленный EMR?