MQTTUtils.createPairedStream () не является членом org.apache.bahir - PullRequest
Новая
       42

MQTTUtils.createPairedStream () не является членом org.apache.bahir

0 голосов
/ 13 марта 2019

Когда я запускал spark-shell следующей командой

bin / spark-shell --packages org.apache.bahir: spark-streaming-mqtt_2.11: 2.3.0 --repositorieshttp://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/

Произошли две ошибки.

Ошибка доступа к серверу по URL https://central.maven.org/org/apache/bahir/bahir-parent_2.11/2.3.2/bahir-parent_2.11-2.3.2.jar (javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateException: не найдено альтернативного DNS-имени субъекта, соответствующего central.maven.org.)

и

Ошибка доступа к серверу по URL https://central.maven.org/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.2/spark-streaming-mqtt_2.11-2.3.2-javadoc.jar (javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateException: без темынайдено альтернативное DNS-имя, соответствующее central.maven.org.)

Здесь я дал хранилище как http://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/ Но оно автоматически подключается к https://central.maven.org/org/apache/bahir/bahir-parent_2.11/2.3.2/bahir-parent_2.11-2.3.2.jar, которого нет в интернете.

Как добавить эти два модуля в мою спарк-оболочку?Моя цель - создать приложение mqtt для потокового воспроизведения, которое обрабатывает несколько тем.

1 Ответ

0 голосов
/ 13 марта 2019

Это было бы проблемой с вашей системой.Что касается ошибки, есть много причин, которые вызывают javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateException.Одна из причин может быть из-за несоответствия между URL-адресом узла запроса (который включает в себя IP-адрес) и сертификатом (который обычно включает имя узла DNS), запрос не выполняется. Это вызвано тем, что в сертификате отсутствуют псевдонимы (альтернативные имена субъекта) для хоста, когда к серверу обращаются с именем, отличным от имени по умолчанию.

Проблема может быть решена несколькими способами.Пожалуйста, найдите несколько альтернатив в следующих ссылках:

https://support.mulesoft.com/s/article/CertificateException-No-Subject-Alternative-Names-Present

https://support.cloudbees.com/hc/en-us/articles/360017693231-Why-am-I-getting-No-subject-alternative-DNS-name-matching-XXX-when-connecting-through-ldaps-

https://confluence.atlassian.com/confkb/java-security-cert-certificateexception-no-subject-alternative-dns-name-matching-hostname-found-452100730.html

https://confluence.atlassian.com/jirakb/java-security-cert-certificateexception-no-subject-alternative-dns-name-matching-hostname-found-297669411.html

Я могу добавить модули в Spark-Shell. Пожалуйста, найдите фрагмент, как показано ниже.

    C:\Users\XYzUser>spark-shell --repositories http://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/ --packages org.apache.bahir:spark-streaming-mqtt_2.11:2.3.0
http://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/ added as a remote repository with the name: repo-1
Ivy Default Cache set to: C:\Users\..\.ivy2\cache
The jars for the packages stored in: C:\Users\..\.ivy2\jars
:: loading settings :: url = jar:file:/C:/Tools/spark/jars/ivy-2.4.0.jar!/org/apache/ivy/core/settings/ivysettings.xml
org.apache.bahir#spark-streaming-mqtt_2.11 added as a dependency
:: resolving dependencies :: org.apache.spark#spark-submit-parent-73c724b4-c15c-45a8-89df-f492b2eb6feb;1.0
        confs: [default]
        found org.apache.bahir#spark-streaming-mqtt_2.11;2.3.0 in central
        found org.eclipse.paho#org.eclipse.paho.client.mqttv3;1.1.0 in central
        found org.spark-project.spark#unused;1.0.0 in user-list
:: resolution report :: resolve 7200ms :: artifacts dl 16ms
        :: modules in use:
        org.apache.bahir#spark-streaming-mqtt_2.11;2.3.0 from central in [default]
        org.eclipse.paho#org.eclipse.paho.client.mqttv3;1.1.0 from central in [default]
        org.spark-project.spark#unused;1.0.0 from user-list in [default]
        ---------------------------------------------------------------------
        |                  |            modules            ||   artifacts   |
        |       conf       | number| search|dwnlded|evicted|| number|dwnlded|
        ---------------------------------------------------------------------
        |      default     |   3   |   1   |   1   |   0   ||   3   |   0   |
        ---------------------------------------------------------------------

:: problems summary ::
:::: ERRORS
        unknown resolver null


:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
:: retrieving :: org.apache.spark#spark-submit-parent-73c724b4-c15c-45a8-89df-f492b2eb6feb
        confs: [default]
        0 artifacts copied, 3 already retrieved (0kB/31ms)
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://...:4040
Spark context available as 'sc' (master = local[*], app id = local-1552454258705).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.0
      /_/
...