Spark-представить не работает код как в Intellij - PullRequest
Новая
       34

Spark-представить не работает код как в Intellij

0 голосов
/ 20 июня 2019

Ниже код работает нормально в Intellij и отображает вывод. Когда я пытаюсь запустить его, используя spark-submit, используя команду:

spark-submit --class com.sohail.popular_movies_pkg C:\spark\bin\popular_movies_pkg.jar

Это просто заканчивается предупреждением, на консоли ничего не отображается. Что-то я делаю неправильно или я должен что-то включить? 

C:\spark\bin>spark-submit --class com.sohail.popular_movies_pkg  popular_movies_pkg.jar
19/06/20 01:42:55 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

package com.sohail

/** Find the movies with the most ratings. */

import org.apache.spark._
import org.apache.spark.SparkContext._
import org.apache.log4j._

object popular_movies_pkg {

  def main(args: Array[String]): Unit = {

    System.setProperty("hadoop.home.dir", "C:\\winutils\\")

    // Set the log level to only print errors
    Logger.getLogger("org").setLevel(Level.ERROR)

    // Create a SparkContext using every core of the local machine
    val sc = new SparkContext("local[*]", "popular_movies_pkg")

    // Read in each rating line
    val lines = sc.textFile("C:\\spark\\bin\\u.data")

    //data format: user id, movie id, rating, timestamp
    val movie_rating_map = lines.map(x => (x.split("\t")(1).toInt,1))

    val movie_rating_count = movie_rating_map.reduceByKey((x,y) => x+y);

    val flip = movie_rating_count.map(x => (x._2,x._1) )

    flip.sortByKey(false).collect().foreach(println)


  }

}
...