Я пытаюсь настроить искру на пряжу на машинах AWS. Мой spark.driver.port - 32975. Я вижу ошибку ниже в журналах контейнера пряжи. Он пытается подключиться к главному администратору ресурсов через порт 35653. Я не уверен, какой блок он пытается извлечь из порта 35653. Может ли кто-нибудь помочь
Команда Spark
spark-submit--deploy-mode client --class org.apache.spark.examples.SparkPi $ SPARK_HOME / examples / jars / spark-examples_2.11-2.4.4.jar 10
Версия Hadoop: 3.x spark версия: 2.4.4
2019-12-01 19: 09: 54 590 ОШИБКА shuffle.RetringBlockFetcher: исключение при начале выборки из 1 ожидающих блоков java.io.IOException: подключение к xyz. com / xx.xx.xx.xx: время ожидания 35653 (120000 мс) в org.apache.spark.network.client.TransportClientFactory.createClient (TransportClientFactory.java:243) в org.apache.spark.network.client.TransportClientFactory.createClient (TransportClientFactory.java:187) в org.apache.spark.network.netty.NettyBlockTransferService $$ anon $ 2.createAndStart (NettyBlockTransferService.scala: 114) в org.apache.spark.network.shushingBetletOr. стоящий (RetriedBlockFetcher.java:141) в org.apache.spark.network.shuffle.RetringBlockFetcher.start (RetriedBlockFetcher.java:121) в org.apache.spark.network.netty.NettyBlockTransferService.fetchBlocks (124SerferSBersc): NetSerblockTlockв org.apache.spark.network.BlockTransferService.fetchBlockSync (BlockTransferService.scala: 98) в org.apache.spark.storage.BlockManager.getRemoteBytes (BlockManager.scala: 757) в org.apache.spark.broadcast.Trentanonfun $ org $ apache $ spark $ broadcast $ TorrentBroadcast $$ readBlocks $ 1.apply $ mcVI $ sp (TorrentBroadcast.scala: 162) в org.apache.spark.broadcast.TorrentBroadcast $$ anonfun $ org $ apache $ spark $ broadcast $TorrentBroadcast $$ readBlocks $ 1.apply (TorrentBroadcast.scala: 151) на org.apache.spark.broadcast.TorrentBroadcast $$ anonfun $ org $ apache $ spark $ broadcast $ TorrentBroadcast $$ readBlocks $ 1.apply (TorrentBroadcast.scala: 151)в scala.collection.immutable.List.foreach (List.scala: 392) в org.apache.spark.broadcast.TorrentBroadcast.org $ apache $ spark $ broadcast $ TorrentBroadcast $$ readBlocks (TorrentBroadcast.scala: 151) в org.apache.spark.broadcast.TorrentBroadcast $$ anonfun $ readBroadcastBlock $ 1 $$ anonfun $ применить $ 2.apply (TorrentBroadcast.scala: 231) в scala.Olp. (Option.scala: 121) в org.apache.spark.broadcast.TorrentBroadcast $$ anonfun $ readBroadcastBlock $ 1.apply (TorrentBroadcast.scala: 211) в org.apache.spark.util.Utils $ .tryOrIOException (Utils.scala:1326) в org.apache.spark.broadcast.TorrentBroadcast.readBroadcastBlock (TorrentBroadcast.scala: 207) в org.apache.spark.broadcast.TorrentBroadcast._value $ lzycompute (TorrentBroadcast.scala: 66) в org.apache.spark.broad.TorrentBroadcast._value (TorrentBroadcast.scala: 66) в org.apache.spark.broadcast.TorrentBroadcast.getValue (TorrentBroadcast.scala: 96) в org.apache.spark.broadcast.Broadcast.value (Broadcast.scala: 70) вorg.apache.spark.scheduler.ResultTask.runTask (ResultTask.scala: 84) в org.apache.spark.scheduler.Task.run (Task.scala: 123) в org.apache.spark.executor.Executor $ TaskRunner $$ anonfun $ 10.apply (Executor.scala: 408) в org.apache.spark.util.Utils $ .tryWithSafeFinally (Utils.scala: 1360) в org.apache.spark.executor.Executor $ TaskRunner.run (Executor.scala: 414) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1149) в java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:624) в java.lang.Thread. Java: 748)
Пожалуйста, проверьте, работает ли hadoop / пряжа. Сначала вы должны запустить hadoop, а затем проверить, работает ли hadoop, просто выполнив jps в терминале.
hadoop start-all.sh jps