Прежде всего, я некоторое время искал эту проблему, и я вижу, что существуют другие решения по этому вопросу, но ничего для Apache Spark версии 2.3.1.
Короче говоря,Я пытаюсь создать приложение, которое использует bahir для выполнения аналитических твиттер-сообщений в spark.
Однако я использую Apache Spark версии 2.3.1, поэтому нашел 2.3.0-SNAPSHOT
Но когда я пытаюсь использовать это bin/spark-shell --packages org.apache.bahir:spark-streaming-twitter_2.11:2.3.0-SNAPSHOT, это не может быть найдено из моей локальной искровой оболочки:
:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: org.apache.bahir#spark-streaming-twitter_2.11;2.3.0-SNAPSHOT: not found]
Я могу быть глупым предположением, но я подумал, может бытьчто 2.3.0 будет работать для 2.3.1.
Я могу получить версию 2.2.1 , и twitter4j, кажется, работает, однако у меня все еще возникают проблемы с реальной streaming.twitter_работать с Spark 2.3.1.Из моего локального спарк-снаряда:
scala> import org.apache.spark.streaming.twitter._ <console>:23: error: object twitter is not a member of package org.apache.spark.streaming import org.apache.spark.streaming.twitter._
^
Было бы неплохо узнать, если кто-нибудь знает, можно ли его использовать с Apache Spark 2.3.1?
Или я просто вынужден понизить рейтинг своегоВерсия Spark, чтобы заставить его работать?
Я делаю это в блокноте под названием Zeppelin, но я также пытался сделать это вне Zeppelin, поэтому, похоже, не имеет ничего общего с ноутбуком, который я использую.
Благодарен за любые идеи.