Пример подсчета искровых слов указывает на ошибку? - PullRequest
Новая
       13

Пример подсчета искровых слов указывает на ошибку?

0 голосов
/ 13 ноября 2018

я пробовал код для искры WordCount ??Нет ошибки в ниже программы, кто-нибудь помогите решить эту проблему, заранее спасибо !! 

import org.apache.spark.api.java.*;
import org.apache.spark.SparkConf;
import scala.Tuple2;
import java.util.Arrays;

public class Wordcount {

 public static void main(String[] args) {

  SparkConf conf = new SparkConf().setMaster("local").setAppName("wordCount");
  JavaSparkContext sc = new JavaSparkContext(conf);

  // Load our input data.
  String inputFile = "Path\\test.txt";

  JavaRDD < String > input = sc.textFile(inputFile);
  // Split in to list of words
  JavaRDD < String > words = input.flatMap(l -> Arrays.asList(l.split(" ")).iterator());

  // Transform into pairs and count.
  JavaPairRDD < String, Integer > pairs = words.mapToPair(w -> new Tuple2<String ,Integer>(w, 1));

  JavaPairRDD < String, Integer > counts = pairs.reduceByKey((x, y) -> x + y);

  System.out.println(counts.collect());
 }
}

, но когда я запустите эту программу, она покажет следующую ошибку ?? 

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
    at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:75)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:70)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:57)
    at Wordcount.main(Wordcount.java:10)
...