Hadoop 3.1.1 и т. Д. И sbin-файлы - PullRequest
Новая
       8

Hadoop 3.1.1 и т. Д. И sbin-файлы

0 голосов
/ 29 октября 2018

Я пытаюсь настроить Hadoop 3.1.1 на Mac.

Любой совет, какие файлы мне нужно редактировать внутри файла etc и внутри libexe / sbin?

Что я должен написать внутри него

1 Ответ

0 голосов
/ 29 октября 2018

Если вы просто хотите установить Hadoop 3.1.1 на Mac,

Вариант 1:

  1. Необходимые условия: Установить HomeBrew

    /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

  2. Проверьте, что Hadoop доступен в Homebrew brew info hadoop. Это может показать, что версия 3.1.1 стабильна.

  3. Установите Hadoop с помощью brew install hadoop. Это установит Hadoop 3.1.1 со всеми его зависимостями.

Вариант 2 :

Загрузка Hadoop 3.1.1 вручную с веб-сайта Apache и обновление настроек вручную.

  1. Предварительные требования: Установите Java
  2. Скачать бинарный пакет Hadoop с сайта Apache Mirror https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
  3. Для режима псевдораспределения экспортируйте JAVA_HOME.
  4. Обновить эти конфиги

Редактировать etc / hadoop / core-site.xml: 

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

и т.д. / Hadoop / HDFS-site.xml: 

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  1. Настройка без пароля ssh Теперь проверьте, что вы можете ssh на локальный хост без ключевой фразы:

    $ ssh localhost Если вы не можете использовать ssh для localhost без ключевой фразы, выполните следующие команды:

    $ ssh-keygen -t rsa -P '' -f ~ / .ssh / id_rsa $ cat ~ / .ssh / id_rsa.pub >> ~ / .ssh / authorized_keys $ chmod 0600 ~ / .ssh / authorized_keys

Тогда, 6. Формат файловой системы: 

 $ bin/hdfs namenode -format

  1. Начальный демон NameNode и демон DataNode:

    $ sbin / start-dfs.sh

  2. Просмотр веб-интерфейса для NameNode; по умолчанию он доступен по адресу: NameNode - http://localhost:9870/
...