выполнить jar-файл scala в фабрике данных Azure - PullRequest
Новая
       31

выполнить jar-файл scala в фабрике данных Azure

0 голосов
/ 28 мая 2018

Вот код, который я пытаюсь выполнить:

SimpleApp.scala 

package test

import java.sql.DriverManager
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf


object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("bouh").setMaster("yarn")
    val sc = new SparkContext(conf)


    val jdbcHostname = "servername.database.windows.net" 
    val jdbcPort = 1433
    val jdbcDatabase ="database"
    val jdbc_url = s"jdbc:sqlserver://${jdbcHostname}:${jdbcPort};database=${jdbcDatabase};encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=60;"

    val jdbcUsername = "user"
    val jdbcPassword = "password"

    val connection = DriverManager.getConnection(jdbc_url, jdbcUsername, jdbcPassword)
    val statement = connection.createStatement

    val rdd = sc.textFile("wasbs://dev@hdinsight.blob.core.windows.net/folder/*.txt")

    rdd.collect().map(
      (Id: String) => {
        statement.execute(s"EXEC delete_item_by_id @Id = '${Id}'")
      }
    )
  }
}

Я скомпилировал его, используя intelliJ IDEA (используя эту ссылку: https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-create-standalone-application).

Теперь я пытаюсь выполнить его на фабрике данных Azure. Я создал задание: 

{
    "name": "pipeline1",
    "properties": {
        "activities": [
            {
                "name": "Spark1",
                "type": "HDInsightSpark",
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false
                },
                "typeProperties": {
                    "rootPath": "dev/apps/spikes",
                    "entryFilePath": "test.jar",
                    "className": "SimpleApp",
                    "sparkJobLinkedService": {
                        "referenceName": "linkedServiceStorageBlobHDI",
                        "type": "LinkedServiceReference"
                    }
                },
                "linkedServiceName": {
                    "referenceName": "linkedServiceHDI",
                    "type": "LinkedServiceReference"
                }
            }
        ]
    }
}

Но выполнение завершается с ошибкой: 

18/05/28 12:52:53 ERROR ApplicationMaster: Uncaught exception: 
java.lang.ClassNotFoundException: SimpleApp
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at org.apache.spark.deploy.yarn.ApplicationMaster.startUserApplication(ApplicationMaster.scala:621)
    at org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:379)
    at org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:245)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:749)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:71)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:70)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1865)
    at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:70)
    at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:747)
    at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)
18/05/28 12:52:53 INFO ApplicationMaster: Final app status: FAILED, exitCode: 10, (reason: Uncaught exception: java.lang.ClassNotFoundException: SimpleApp)
18/05/28 12:52:53 INFO ApplicationMaster: Unregistering ApplicationMaster with FAILED (diag message: Uncaught exception: java.lang.ClassNotFoundException: SimpleApp)
18/05/28 12:52:53 INFO ApplicationMaster: Deleting staging directory adl://home/user/livy/.sparkStaging/application_1527060048715_0507
18/05/28 12:52:53 INFO ShutdownHookManager: Shutdown hook called

Я понимаю, что класс не найден, но как я могу решить эту проблему? Это происходит из моего скрипта Scala или из лазурного задания?

РЕДАКТИРОВАТЬ : Если яОткройте test.jar, у меня много файлов / папок. Я нашел SimpleApp.class в папке / test (test - это имя моего пакета). Я пробовал на ADF "className": "test.SimpleApp", но все равно та же ошибка java.lang.ClassNotFoundException: test.SimpleApp

1 Ответ

0 голосов
/ 28 мая 2018

вы можете попытаться открыть банку и посмотреть путь к классу SimpleApp

...