Проблема SparkWordCount - исключение java.lang.ClassNotFoundException - PullRequest
Новая
       40

Проблема SparkWordCount - исключение java.lang.ClassNotFoundException

0 голосов
/ 14 января 2019

Это не повторяющийся вопрос, и я пробовал так много способов сделать эту работу, но не сработал

Я пытаюсь написать приложение для подсчета слов, чтобы я мог запустить через spark-submit

Я использую IntelliJ IDEA, spark - 2.1.1 и scala - 2.11.8

Мой код подсчета слов выглядит так: 

package com.netflix.utilities

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

class SparkWordCount {
  def main(args: Array[String]) {
   // create Spark context with Spark configuration
   println("starting")
   val sc = new SparkContext(new SparkConf().setAppName("Spark Count"))

   // get threshold
   val threshold = args(1).toInt

   // read in text file and split each document into words
   val tokenized = sc.textFile(args(0)).flatMap(_.split(" "))

   // count the occurrence of each word
   val wordCounts = tokenized.map((_, 1)).reduceByKey(_ + _)

   // filter out words with fewer than threshold occurrences
   val filtered = wordCounts.filter(_._2 >= threshold)

   // count characters
   val charCounts = filtered.flatMap(_._1.toCharArray).map((_, 1)).reduceByKey(_ + _)

   System.out.println(charCounts.collect().mkString(", "))
  }
}

мой pom.xml выглядит так :: 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com.netflix.utilities</groupId>
<artifactId>SparkWordCount</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.1.1</version>
    </dependency>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.8</version>
    </dependency>

</dependencies>

<distributionManagement>
    <repository>
        <id>internal.repo</id>
        <name>Internal repo</name>
        <url>file:///Users/sankar.biswas/Noah/</url>
    </repository>
</distributionManagement>


<build>
    <pluginManagement>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.7.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </pluginManagement>
</build>

Теперь я положил банку в ту же папку, где у меня есть свеча-отправка

Это спарк-подчинение, которое я запускаю ::

. / Spark-submit --class com.netflix.utilities.SparkWordCount - мастер локального клиента --deploy-mode SparkWordCount-1.0-SNAPSHOT.jar "файл: ////Users/sankar.biswas/Desktop/ hello.txt "

Но я продолжаю получать эту ошибку ::

java.lang.ClassNotFoundException: SparkWordCount

Я не понимаю, чего мне не хватает. Любое предложение будет высоко оценено!

1 Ответ

0 голосов
/ 14 января 2019

Вместо класса SparkWordCount используйте объект SparkWordCount и измените --class "SparkWordCount" на --class com.netflix.utilities.SparkWordCount и запустите его

...