Каждый не должен тратить время на настройку, которое я потратил впустую, поэтому вот решение.
SPARK 2.2 Установка установки на Cloudera VM
Шаг 1: Загрузите quickstart_vm по ссылке:
Предпочитайте платформу vmware, так как она проста в использовании, в любом случае все опции жизнеспособны.
Размер составляет около 5,4 ГБ всего файла tar. Нам нужно предоставить идентификатор электронной почты, так как он не будет принимать личные идентификаторы электронной почты.
Шаг 2: Виртуальной среде требуется около 8 ГБ ОЗУ, пожалуйста, выделите достаточно памяти, чтобы избежать сбоев производительности.
Шаг 3: Пожалуйста, откройте терминал и переключитесь на пользователя root как:
su root
password: cloudera
Шаг 4: Cloudera предоставляет версию Java 1.7.0_67, которая устарела и не соответствует нашим потребностям. Чтобы избежать исключений, связанных с Java, пожалуйста, установите Java с помощью следующих команд:
Загрузка Java:
wget -c --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
Перейдите в каталог / usr / java / с помощью команды «cd / usr / java /».
cp загрузить файл tar для java в каталог / usr / java /.
Разархивируйте каталог с помощью «tar –zxvf jdk-8u31-linux-x64.tar.gz»
Откройте файл профиля с помощью команды «vi ~ / .bash_profile»
экспорт JAVA_HOME в новый каталог java.
export JAVA_HOME=/usr/java/jdk1.8.0_131
Сохранить и выйти.
Чтобы отразить указанное выше изменение, необходимо выполнить следующую команду в оболочке:
source ~/.bash_profile
Cloudera VM предоставляет версию spark 1.6 по умолчанию. Однако API 1.6 устарели и не соответствуют производственным средам. В этом случае нам нужно загрузить и вручную установить Spark 2.2.
Переключитесь в каталог / opt / с помощью команды:
cd /opt/
Скачать спарк с командой:
wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz
Распакуйте искровую смолу с помощью следующей команды:
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz
Нам нужно определить некоторые переменные окружения в качестве настроек по умолчанию:
Пожалуйста, откройте файл с помощью следующей команды:
vi /opt/spark-2.2.0-bin-hadoop2.7/conf/spark-env.sh
Вставьте в файл следующие конфигурации:
SPARK_MASTER_IP=192.168.50.1
SPARK_EXECUTOR_MEMORY=512m
SPARK_DRIVER_MEMORY=512m
SPARK_WORKER_MEMORY=512m
SPARK_DAEMON_MEMORY=512m
Сохранить и выйти
Нам нужно запустить spark следующей командой:
/opt/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh
Export spark_home:
export SPARK_HOME=/opt/spark-2.2.0-bin-hadoop2.7/
Изменить права доступа к каталогу:
chmod 777 -R /tmp/hive
Попробуйте «искривление», оно должно работать.