Livy Batch API - не в состоянии достать банку - PullRequest
Новая
       68

Livy Batch API - не в состоянии достать банку

0 голосов
/ 03 апреля 2020

Я пытаюсь использовать Livy Batch API для вызова моего приложения Spark. 

curl -X POST -d '{"file": "file:///path to file/SampleSparkProject-0.0.2-SNAPSHOT.jar","className": "App","args": ["abc"],"jars": [],"driverMemory": "16g","executorMemory": "8g","executorCores": 2,"numExecutors": 2,"queue": "default","name": "Livy_sample_prog"}' -H "Content-Type: application/json" http://serverip:8998/batches/

POST / batches завершается с ошибкой ниже: 

"Warning: Local jar /path to file/SampleSparkProject-0.0.2-SNAPSHOT.jar does not exist, skipping.",
  "java.lang.ClassNotFoundException: App",

Ниже приведены различные вещи Я пытался до сих пор

1. Загрузил банку в HDFS 

curl -X POST -d '{"file": "hdfs://path to file/SampleSparkProject-0.0.2-SNAPSHOT.jar","className": "App","args": ["abc"],"jars": [],"driverMemory": "16g","executorMemory": "8g","executorCores": 2,"numExecutors": 2,"queue": "default","name": "Livy_sample_prog"}' -H "Content-Type: application/json" http://serverip:8998/batches/

исключение: 

"Warning: Skip remote jar hdfs://path to file/SampleSparkProject-0.0.2-SNAPSHOT.jar.",
  "java.lang.ClassNotFoundException: App"

2. добавлен livy.file.local-dir-whitelist как dir, который содержит файл jar

3. Изменен файл: /// в локальный: /

Я несколько раз проверял наличие файлов, и путь, указанный в каждом случае, действителен.

У меня нет вариантов сейчас. Пожалуйста, помогите найти решение.

Спасибо !!

1 Ответ

0 голосов
/ 07 апреля 2020

Я смог сделать эту работу моим мастером по подаче в виде скопления пряжи, залитого пряжей.

Вот - данные, которые я использовал 

{
    "file": "local:/path/to/file/SampleSparkProject-0.0.2-SNAPSHOT.jar",
    "proxyUser": "nrsapp",
    "className": "App",
    "args": [
        "abc"
    ],
    "name": "Livy_sample_prog",
    "conf": {
        "spark.master": "yarn-cluster",
        "spark.deployMode": "client"
    }
}
...