Не в состоянии представить искровую работу - PullRequest
Новая
       8

Не в состоянии представить искровую работу

0 голосов
/ 04 мая 2018

Я пытаюсь запустить пример Spark-solr Twitter с spark-solr-3.4.4-shaded.jar, 

bin/spark-submit --master local[2]  \  --conf "spark.driver.extraJavaOptions=-Dtwitter4j.oauth.consumerKey=?
-Dtwitter4j.oauth.consumerSecret=? -Dtwitter4j.oauth.accessToken=? -Dtwitter4j.oauth.accessTokenSecret=?" \  --class com.lucidworks.spark.SparkApp \  ./target/spark-solr-3.1.1-shaded.jar \  twitter-to-solr -zkHost localhost:9983 -collection socialdata

но это не удалось, и отображается следующее сообщение 

INFO ContextHandler: Started o.e.j.s.ServletContextHandler@29182679{/metrics/json,null,AVAILABLE,@Spark}
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext.jobProgressListener()Lorg/apache/spark/ui/jobs/JobProgressListener;

Я могу подтвердить, что путь для ./target/spark-solr-3.1.1-shaded.jar указан правильно.

Я подозреваю, что что-то не так в --class com.lucidworks.spark.SparkApp (ClassPath), но я не уверен.

Я работаю в локальном режиме и меняю параметры, как указано в примере.

Версия:

  • Искра 2.1.1
  • Spark-solr 3.1.1
  • Solr 6.6.0
...