Amazon EC2 - проблемы с сетью

Question

Мы запускаем кластер hadoop на amazon ec2, и недавно у нас возникли проблемы с сетью, такие как master не может подключиться к slave. Мы думали, что причина в амазонке, дросселирующей сетевых подключений за предел. Итак, мы попытались установить соединение после случайной задержки от каждого подчиненного узла. Но это не помогло.

Есть ли другие предложения?

Спасибо Bala

Answer 1

У вас есть правильные открытые порты в группе безопасности, которую используют экземпляры вашего кластера? Я не знаком с Hadoop, но если он использует собственный порт TCP / IP или UDP для связи между узлами, вам нужно будет указать его в своей группе безопасности.

Answer 2

Использование Amazon Elastic MapReduce устранит многие проблемы и обеспечит некоторые улучшения ввода-вывода для S3 и между узлами, а также несколько специальных исправлений AWS для повышения надежности.

Вероятно, разумно держаться подальше от кластерных сценариев EC2, если вам не нужна конкретная версия Hadoop, но на самом деле это не нужно.

Answer 3

Вы пробовали использовать скрипты hadoop-ec2 от cloudera? Я использовал их для настройки случайных кластеров hadoop для моего исследования диссертации, и я обнаружил, что они работают достаточно хорошо. Установка занимает несколько минут, но после ее установки вы просто делаете

hadoop-ec2 launch-cluster <clustername> <number of slaves>

, и он настраивает все, что вам нужно, и обычно делает действительно хорошую работу. Иногда узел не запускается или что-то в этом роде, но достаточно просто завершить кластер и повторить попытку, и это не будет стоить слишком много.

Инструкции по их установке можно найти здесь:

http://archive.cloudera.com/docs/ec2.html