Установите Apache Spot

Question

Мне нужно установить Apache Spot в Ubuntu.

http://spot.incubator.apache.org/doc/#installation

Я уже выполнил настройку кластера с одним узлом Hadoop, следуя этому руководству:

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

И я уже установил Hive, Kafka и Spark, следуя инструкциям, изложенным в документации Apache.Основная проблема в том, что я не могу правильно настроить файл '/spot-setup/spot.conf', потому что когда я запускаю команду:

./hdfs_setup.sh

Терминал отображает:

sudo: unknown user: hdfs
sudo: unable to initialize policy plugin
./hdfs_setup.sh:line 48:hdfs:command not found
./hdfs_setup.sh:line 52:hdfs:command not found
./hdfs_setup.sh: line 62:impala-shell:command not found

мой файл / etc / hosts:

127.0.0.1 localhost
127.0.1.1 osboxes
127.0.0.2 node03
127.0.0.3 node04
127.0.0.4 node16

Какие значения я должен записать в строки spot.conf?Большое спасибо.

Answer 1

Вывод скрипта подразумевает, что hadoop неправильно настроен на этом узле.Вместо индивидуальной установки и настройки зависимостей вы можете попробовать cloudera quickstart vm , который упаковывает все зависимости, необходимые для Apache Spot.