Spark структурированная потоковая зависимость kafka не может быть разрешена - PullRequest
0 голосов
/ 27 августа 2018

Я пытался

./spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1 test.py 

у меня на компьютере все нормально. Но после того, как я попробовал на сервере моей школы, он имеет следующие сообщения и ошибки. Я долго искал в гугле и понятия не имел. Кто-нибудь может мне помочь?

Ivy Default Cache установлен в: /home/zqwang/.ivy2/cache Jars для пакеты, хранящиеся в: /home/zqwang/.ivy2/jars :: параметры загрузки :: URL = jar: file: /data/opt/tmp/zqwang/spark-2.3.1-bin-hadoop2.7/jars/ivy-2.4.0.jar! /org/apache/ivy/core/settings/ivysettings.xml org.apache.spark # spark-sql-kafka-0-10_2.11 добавлен как зависимость :: разрешение зависимостей :: org.apache.spark # искровой подать-родитель-26b526c6-0535-4007-8428-e38188af5709; 1,0 confs: [по умолчанию] :: отчет о разрешении :: resolve 966ms :: артефакты dl 0ms :: используемые модули:


| | модули || артефакты | | конф | номер | поиск | dwnlded | выселили || номер | dwnlded |


| по умолчанию | 1 | 0 | 0 | 0 || 0 | 0 |


:: описание проблемы :: :::: Модуль ПРЕДУПРЕЖДЕНИЙ не найден: org.apache.spark # искровым SQL-Кафка-0-10_2.11; 2.3.1

==== local-m2-cache: пробовал

Файл: /home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3 .1.pom

-- artifact

org.apache.spark # искровых SQL-Кафка-0-10_2.11; 2.3.1 искрового SQL-Кафка-0-10_2.11.jar:

!

Файл: /home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3 .1.jar

==== local-ivy-cache: пробовал

/ дом / zqwang / .ivy2 / местные / org.apache.spark / искровым SQL-Кафка-0-10_2.11 / 2.3.1 / ivys / ivy.xml

-- artifact

org.apache.spark # искровых SQL-Кафка-0-10_2.11; 2.3.1 искрового SQL-Кафка-0-10_2.11.jar:

!

/ дома / zqwang / .ivy2 / местные / org.apache.spark / искровой SQL-Кафка-0-10_2.11 / 2.3.1 / банки / искровой SQL-Кафка-0-10_2.11.jar

==== центральный: пробовал

https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom

-- artifact

org.apache.spark # искровых SQL-Кафка-0-10_2.11; 2.3.1 искрового SQL-Кафка-0-10_2.11.jar:

!

https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar

==== spark-пакеты: пробовал

http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom

-- artifact

org.apache.spark # искровых SQL-Кафка-0-10_2.11; 2.3.1 искрового SQL-Кафка-0-10_2.11.jar:

!

http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar

  ::::::::::::::::::::::::::::::::::::::::::::::

  ::          UNRESOLVED DEPENDENCIES         ::

  ::::::::::::::::::::::::::::::::::::::::::::::

  :: org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1: not found

  ::::::::::::::::::::::::::::::::::::::::::::::

:::: ОШИБКИ Ошибка доступа к серверу по URL https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom (java.net.ConnectException: в соединении отказано)

Ошибка доступа к серверу по URL https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar (java.net.ConnectException: в соединении отказано)

Ошибка доступа к серверу по URL http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom (java.net.ConnectException: в соединении отказано)

Ошибка доступа к серверу по URL http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar (java.net.ConnectException: в соединении отказано)

:: ИСПОЛЬЗОВАТЬ VERBOSE ИЛИ ОТСУТСТВУЮЩИЙ УРОВЕНЬ СООБЩЕНИЯ ДЛЯ БОЛЕЕ ДЕТАЛИ поток "основной" java.lang.RuntimeException: [неразрешенная зависимость: org.apache.spark # spark-sql-kafka-0-10_2.11; 2.3.1: не найден] в org.apache.spark.deploy.SparkSubmitUtils $ .resolveMavenCoordinates (SparkSubmit.scala: 1303) в org.apache.spark.deploy.DependencyUtils $ .resolveMavenDependencies (DependencyUtils.scala: 53) в org.apache.spark.deploy.SparkSubmit $ .doPrepareSubmitEnvironment (SparkSubmit.scala: 364) в org.apache.spark.deploy.SparkSubmit $ .prepareSubmitEnvironment (SparkSubmit.scala: 250) в org.apache.spark.deploy.SparkSubmit $ .submit (SparkSubmit.scala: 171) в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 137) в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala)

1 Ответ

0 голосов
/ 28 августа 2018

Но после того, как я попробовал на сервере моей школы, он имеет следующие сообщения и ошибки

В вашей школе есть межсетевой экран, запрещающий загрузку удаленных пакетов.

У меня эта ссылка работает, например

Ошибка доступа к серверу по URL https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom (java.net.ConnectException: соединение отклонено)

Вам нужно будет загрузить банки Kafka вне школы, а затем использовать флаг --jars, чтобы отправить их

...