Мы запускаем Hadoop в кластере Amazon EC2. Мы запускаем master, slave и подключаем тома ebs и, наконец, ожидаем, когда начнут работать Hadoop Jobtracker, TaskTracker и т. Д., И у нас будет время ожидания 3600 секунд. Мы замечаем, что в 50% случаев трекер работы не может запуститься до истечения времени ожидания. Причина в том, что hdfs не инициализирован должным образом и все еще находится в безопасном режиме, и трекер заданий не может запуститься. Я заметил несколько проблем с соединением между узлами на EC2, когда я пытался вручную пинговать подчиненных.
Кто-нибудь сталкивался с подобной проблемой и знает, как ее решить?