Как установить экземпляр узла Hadoop на AWS с помощью Apache Whirr? - PullRequest
Новая
       29

Как установить экземпляр узла Hadoop на AWS с помощью Apache Whirr?

1 голос
/ 10 июня 2011

Я пытаюсь запустить экземпляр Hadoop с одним узлом в Amazon Web Services, используя Apache Whirr.Я установил whirr.instance-templates равным 1 jt+nn+dn+tt.Экземпляр запускается нормально.Я могу создавать каталоги, но когда я пытаюсь put файлы, я получаю File could only be replicated to 0 nodes, instead of 1 error.Когда я делаю hadoop fsck /, я получаю Exception in thread "main" java.net.ConnectException: Connection refused ошибку.Кто-нибудь знает, что не так с моей конфигурацией?

1 Ответ

0 голосов
/ 12 июня 2011

У меня сложилось впечатление, что whirr не всегда запускает все службы надежно.Звучит так, как будто начался namenode (namenode отвечает за хранение информации каталога), но датодет не запустился (datanode хранит данные).

Попробуйте запустить 

hadoop dfsadmin -report

, чтобы увидеть,доступна дата данных.

Если нет: часто это помогает перезапустить кластер.

...