MapReduce альтернативы

Question

Есть ли альтернатива парадигмам MapReduce (Google, Hadoop)? Есть ли другой разумный способ, как разделить и объединить большие проблемы?

Answer 1

Определённо. Проверьте, например, Bulk Synchronous Parallel . Map / Reduce на самом деле является очень ограниченным способом уменьшения проблем, однако это ограничение делает его управляемым в такой среде, как Hadoop. Вопрос заключается в том, проще ли перенести вашу проблему в настройку Map / Reduce или проще создать схему распараллеливания для конкретного домена и самостоятельно позаботиться обо всех деталях реализации. Фактически, Pig - это всего лишь уровень абстракции над Hadoop, который автоматизирует многие стандартные преобразования задач из несовместимых с Map-Reduce-y в Map-Reduce-совместимые.

Редактировать 26.1.13: Здесь вы найдете хороший актуальный обзор

Answer 2

Фил Колелла выделил семь численных методов для научных вычислений, основанных на закономерностях рассеяния и сбора данных между узлами обработки, и назвал их «карликами». Они были добавлены другими, список доступен на Dwarf Mine :

1. Плотная линейная алгебра
2. Разреженная линейная алгебра
3. Спектральные методы
4. Методы N-тела
5. Структурированные сетки
6. неструктурированные решетки
7. MapReduce
8. Комбинационная логика
9. Обход графика
10. Динамическое программирование
11. Откат и ответвление
12. Графические модели
13. Конечные автоматы

Answer 3

Обновление (август 2014 г.): Стратосфера теперь называется Апач Флинк (инкубация).

Взгляните на Стратосфера .Это еще одна среда выполнения больших данных, которая предлагает больше операторов (отображение, уменьшение, объединение, объединение, пересечение, итерация, ...).Он также позволяет определять расширенные графы потоков данных (с помощью Hadoop MR вам придется объединять задания).

Стратосфера также поддерживает BSP с его абстракцией обработки графа (называемой Spargel ).

Если вы любите читать научные статьи, взгляните на Nephele / PACTs: модель программирования и среда выполнения для аналитической обработки в масштабах сети , это объясняет теоретические основы системы.

Другая система в этой области - Spark , которая имеет собственную модель (СДР).Так как BSP был упомянут здесь, также посмотрите на GraphLab , предложение альтернативы BSP.

Answer 4

Лучшей альтернативой для MapReduce является Spark, потому что он в 10-100 раз быстрее, чем MapReduce.А также очень прост в обслуживании, меньше кодирует высокую производительность.

Answer 5

Microsoft Dryad считается более общим, чем MapReduce.