Рекомендации для Hadoop на EC2?

Question

При запуске Hadoop в EC2 мне кажется, что у меня есть два варианта:

• A: Управлять кластером самостоятельно, используя специальные сценарии оболочки EC2, которые поставляются с Hadoop.
• B: Используйте Elastic MapReduce и заплатите немного за удобство.

Я склоняюсь к B, но я был бы признателен за некоторые советыот людей с большим опытом.Вот мои вопросы:

1. Есть ли какие-либо задачи, которые можно выполнить одним из этих методов, но не другим?
2. Есть ли другие варианты, кроме этих двух, которые я пропускаю?
3. Если я выберу B, насколько легко будет вернуться к A?То есть в чем опасность блокировки поставщика?

Answer 1

Третий вариант: Вы можете использовать apache whirr для настройки кластера hadoop на ec2 (также поддерживается rackspace)

Answer 2

Мне сказали, что люди, близкие к команде разработчиков Amazon Elastic MapReduce (EMR), имеют как минимум два других преимущества использования EMR: a) Amazon активно применяет исправления ошибок и улучшения производительности для базы кода Hadoop, используемой в EMR и b) Amazon использует высокопроизводительную сеть между серверами EMR и серверами S3, которая может быть недоступна между серверами EC2 и серверами S3.

ОБНОВЛЕНИЕ: см. Комментарии @ mat, опровергающие слухи о преимуществах использования EMR.

Answer 3

Отказ от ответственности: я основатель Axemblr.com

Существуют также коммерческие альтернативы, которые вы можете использовать. Axemblr Tool для Cloudera CDH3 - это инструмент, который мы создаем, который может развернуть кластер всего за несколько минут со всем необходимым (включая Cloudera Hue, Mahout & Pig).

Мы такжесоздание альтернативы EMR, полностью совместимой с точки зрения API, нацеленной на частные облака.

Если вам интересно, почему имеет смысл запускать CDH на EC2, а не на EMR, см.

http://www.quora.com/What-are-the-advantages-disadvantages-running-Clouderas-distribution-for-Hadoop-on-EC2-instances-rather-than-using-Amazons-Elastic-Map-Reduce-Service