Выполнение заданий MRToolkit hadoop на карте упругости AWS / уменьшение - PullRequest
0 голосов
/ 05 августа 2010

Loving MRToolkit - отлично подходит для ухода от Java при написании заданий Hadoop.Стало очевидным, что библиотека была написана для взаимодействия с кластером EC2, а не с системой эластичного отображения / сокращения Amazon.Кто-нибудь имеет представление о запущенных заданиях, определенных с помощью инструментария на эластичной карте / серверах сокращения?Это не очевидно из веб-интерфейса, и я бы хотел избежать головной боли при настройке кластера вручную в EC2.

Я изучил возможность загрузки файлов с помощью параметра «Потоковая передача» (поскольку именно это использует MRToolkit), но Amazon ожидает отдельные файлы для картографического и восстановительного устройств - типичный стиль MRToolkit определяет их в одном файлекак подклассы предопределенных базовых (Map | Reduce) классов.

Большое спасибо за любые мысли.

Исаак

1 Ответ

1 голос
/ 05 августа 2010

Это выполнимо, но не через веб-интерфейс.

  • Загрузите и установите Ruby Client
  • Создайте свой кластер :astic-mapreduce --create --alive [параметры размера кластера]
  • Подтвердите, что ваша группа безопасности Elastic Map Reduce Master имеет открытый порт 22 * ​​1010 *
  • SSH в ваш главный узел
  • Используйте git / scp для копирования кода вашего приложения
  • Запустите ваше приложение
...