SparkBWA не может найти файл spark-submit - PullRequest
0 голосов
/ 17 мая 2018

Я перехожу по ссылке https://github.com/citiususc/SparkBWA для установки SparkBWA:

git clone https://github.com/citiususc/SparkBWA.git
cd SparkBWA
mvn package

В разделе «Запуск SparkBWA» сказано запустить его с помощью команды:

spark_dir/bin/spark-submit --class com.github.sparkbwa.SparkBWA SparkBWA-0.2.jar -h

но у меня не установлена ​​ команда spark-submit .

Как мне получить spark-submit ?

Спасибо.

1 Ответ

0 голосов
/ 17 мая 2018
  • Установка зависимостей Spark (JRE или JDK 1.7 или 1.8, более новые версии Java не поддерживаются).
  • Загрузите поддерживаемую версию со страницы загрузок Spark (похоже, она довольно старая, поэтому вы можете иметьиспользовать ветку 1.x).Для простых тестов используйте готовый вариант со связанными библиотеками Hadoop.
  • Распакуйте содержимое и используйте команду bin/spark-submit из только что созданного каталога.
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...