Одноузловой кластер Hadoop замедляет работу экземпляра AWS

Question

Счастливый уродливый рождественский день свитера: -)

Я столкнулся с некоторыми странными проблемами с моим экземпляром AWS Linux 16.04, на котором запущен Hadoop 2.9.2.Я только что успешно установил и настроил Hadoop для работы в симулированном распределенном режиме.Кажется, все в порядке.Когда я запускаю hdfs и пряжу, я не получаю никаких ошибок.Но как только я пытаюсь сделать что-то столь же простое, как перечислить содержимое корневого каталога hdfs, или создать новый каталог, весь экземпляр становится очень медленным.Я жду около 10 минут, и он никогда не выдает список каталогов, поэтому я нажимаю Ctrl + C, и для завершения процесса требуется еще 5 минут.Затем я пытаюсь остановить оба, hdfs и пряжу, и это успешно, но также занимает много времени, чтобы сделать это.И даже после того, как hdfs и пряжа были остановлены, экземпляр все еще едва реагирует.На данный момент все, что я могу сделать для нормального функционирования, - это зайти в консоль AWS и перезапустить ее.Кто-нибудь знает, что я облажался (я уверен, что это то, что я сделал. Обычно это :-))?Спасибо.

Answer 1

Ну, я думаю, что понял, что было не так, и ответ тривиален.По сути, моему экземпляру ec2 не хватает оперативной памяти.Это базовый бесплатный экземпляр, отвечающий требованиям уровня, и по умолчанию он имеет только 1 ГБ ОЗУ.Веселое.Совершенно бесполезно.Но я все равно узнал кое-что полезное.Еще одна вещь, которую я должен был сделать, чтобы моя установка Hadoop работала (я получал ошибку «отказано в соединении», но я все же заставил ее работать), заключалась в том, что в файле core-site.xml мне пришлось изменить строку, которая говорит

*От 1002 *

до

<value>hdfs://ec2-XXX-XXX-XXX-XXX.compute-1.amazonaws:9000</value>

(замените XXX в приведенном выше IP-адресе вашего экземпляра)