С чего начать с распределенных вычислений?

Question

Мне интересны методы обучения распределенным вычислениям. Как разработчик Java, я, вероятно, хочу начать с Hadoop . Не могли бы вы порекомендовать несколько книг / учебников / статей для начала?

Answer 1

Возможно, вы сможете сначала прочитать некоторые статьи, связанные с MapReduce и распределенными вычислениями, чтобы лучше понять его. Вот некоторые, которые я хотел бы рекомендовать:

• MapReduce: упрощенная обработка данных на крупных кластерах, http://www.usenix.org/events/osdi04/tech/full_papers/dean/dean_html/

• Bigtable: распределенная система хранения структурированных данных, http://www.usenix.org/events/osdi06/tech/chang/chang_html/

• Дриада: Распределенные параллельные с данными программы из последовательных строительных блоков, http://pdos.csail.mit.edu/6.824-2007/papers/isard-dryad.pdf

• Исследование параллельных вычислений: взгляд из Беркли http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.67.8705&rep=rep1&type=pdf

С другой стороны, если вы хотите лучше узнать Hadoop, возможно, вы можете начать читать исходный код фреймворка Hadoop MapReduce.

Answer 2

В настоящее время, в порядке, я бы проверил - Hadoop A Definition Guide . Его написал Том Уайт, который давно работает над Hadoop и работает в Cloudera с Дугом Каттингом (создателем Hadoop).

Кроме того, Джимми Лин из UMD написал книгу под названием: Интенсивная обработка текста с помощью MapReduce . Вот ссылка на окончательный вариант подготовки к выпуску (ссылка предоставлена ​​автором на его сайте ).

Answer 3

Hadoop не обязательно лучший инструмент для решения всех задач распределенных вычислений. Несмотря на свою мощь, он также имеет довольно крутую кривую обучения и стоимость владения. Вы можете уточнить ваши требования и искать подходящие альтернативы в мире Java, такие как HTCondor , JPPF или GridGain (мои извинения тем, кого я не говоря).

Answer 4

Если вы хотите изучить распределенную вычислительную платформу, которая менее сложна, чем Hadoop, вы можете попробовать Zillabyte.Вам нужно знать только некоторые Ruby или Python для создания приложений на платформе.

Как сказал LoLo, Hadoop - это мощное решение, но с него может быть сложно начать.

Для материалов, чтобы узнать о распределенных вычислениях, попробуйте http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-824-distributed-computer-systems-engineering-spring-2006/syllabus/. Также есть несколько ресурсов, рекомендуемых курсом

Answer 5

MIT 6,824 - лучший материал. Недостаточно только читать статьи Google, связанные с Hadoop. Системное изучение курса требуется, если вы хотите углубиться.

Answer 6

Подкаст All Things Hadoop http://allthingshadoop.com/podcast имеет хороший контент и хороших гостей.Во многом это связано с началом работы с распределенными вычислениями.

Answer 7

Вот некоторые ресурсы от Yahoo! Сеть разработчиков

учебник:

http://developer.yahoo.com/hadoop/tutorial/

вводный курс (требуется Siverlight, вздох):

http://yahoo.hosted.panopto.com/CourseCast/Viewer/Default.aspx?id=281cbf37-eed1-4715-b158-0474520014e6