Причудливое поведение Hadoop

Question

Возможно ли, что datanode иногда не запускается при запуске start-all.sh, но при перезагрузке компьютера он запускается нормально. Что может быть причиной такого странного поведения?

Повреждают ли другие процессы Java, работающие в том же пространстве имен, процессы hadoop?

Answer 1

Вот некоторые из вещей, которые я наблюдал.

1. hadoop namenode -формат. Эту команду необходимо выполнить перед началом всех. В противном случае наменод не запускается.
2. Также убедитесь, что приложение, которое вы используете поверх hadoop, соответствует версии hadoop, которую ожидает приложение. В моем случае я использовал hadoop 20.203 и переключился на 20.2, моя проблема была решена.
3. Проверьте журналы, они часто дают ценную информацию о том, что пошло не так.