Я написал scala-скрипт для подсчета слов в текстовом файле и сохранил его в домашнем каталоге.Как я могу вызвать и выполнить файл сценария "wordcount.txt"?
Если я попробую команду: spark-submit wordcount.txt
, она не работает.
Содержимое файла "wordcount.txt"-
val text = sc.textFile("/data/mr/wordcount/big.txt");
val counts = text.flatMap(line => line.split(" ").map(word => (word.toLowerCase(),1)).reduceByKey(+).sortBy(_._2,false).saveAsTextFile(“count_output”);