Я настроил hadoop и запустил его на Docker. Проблема в названии меня сильно смутила. Подробности ниже.
Я ссылался на учебник
https://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html
и запустил пример подсчета слов.
./hadoop namenode -format
./start-yarn.sh
./start-dfs.sh
./mr-jobhistory-daemon.sh start historyserver
hdfs dfs -mkdir -p input
echo "hello world" > file.txt
hdfs dfs -put file.txt input
hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount -Dmapreduce.map.env="yarn.nodemanager.docker-container-executor.image-name=sequenceiq/hadoop-docker:2.4.1" -Dyarn.app.mapreduce.am.env="yarn.nodemanager.docker-container-executor.image-name=sequenceiq/hadoop-docker:2.4.1" -Dmapreduce.reduce.env="yarn.nodemanager.docker-container-executor.image-name=sequenceiq/hadoop-docker:2.4.1" input output
Тогда логи показанные на картинке:
и менеджер узла автоматически вытащил изображение sequence / spark: 1.6.0 при запуске этого файла.
Я понятия не имею, что случилось.
Тогда я посмотрел системный журнал в журналах / userlogs /.
и нет пользовательских журналов в главном узле.
На самом деле безопасный режим всегда был выключен.
Это довольно странная проблема. Будем благодарны за любые советы и решения!