Альтернативы Hadoop / Map-Reduction Framework для платформы Win32 - PullRequest
3 голосов
/ 05 июля 2011

Я нахожу Hadoop в Windows несколько разочаровывающим: я хочу знать, есть ли какие-либо серьезные альтернативы Hadoop для пользователей Win32.Наиболее ценные функции:

  • Простота первоначальной настройки и развертывания в небольшой сети (я был бы удивлен, если бы мы когда-либо получили более 20 рабочих компьютеров, назначенных для этого проекта)
  • Простота управления - идеальная среда должна иметь систему администрирования на основе веб / графического интерфейса, чтобы мне не приходилось писать ее самостоятельно.
  • Что-то популярное и стабильное.Бонусы зависят от того, как мы вовремя выполним этот проект.

ОБЩАЯ ИНФОРМАЦИЯ:

Компания, в которой я работаю, хочет построить новую систему энергосистем для управления финансовыми ресурсами.расчеты.

Первый фреймворк, который я оценивал, - это Hadoop.Казалось, что это делает именно то, что предполагалось, за исключением того, что он очень ориентирован на UNIX.Я смог получить все учебники и запустить их на Ubuntu VirtualBox.К сожалению, кажется, что на Win32 ничего не запускается легко.

Да ... Win32: У нашей компании есть политика, согласно которой все должно работать на Windows.Никто из администраторов сервера (или кто-либо, кроме избранных разработчиков) ничего не знает о Linux.Я, вероятно, попал бы в беду, если бы они нашли мою виртуальную среду Ubuntu!Печальный факт заключается в том, что наша сетка должна быть размещена на Win32 (поскольку все тестовые ПК работают под управлением Windows XP 32bit) с возможностью обновления до Win64 в будущем.

Чтобы усложнить ситуацию - 95%из того, что мы хотим запустить, это скрипты Python с надстройками C ++ для Windows 32bit DLL.Наша библиотека вычислений в основном написана на Python.Наши библиотеки вычислений не будут работать ни на чем, кроме Windows ... У меня нет выбора

Ответы [ 5 ]

2 голосов
/ 18 ноября 2013

Для питона есть:

И вы можете найти группу клиентов / интеграций hadoop на pypi

1 голос
/ 05 июля 2011

Вы можете попробовать MPI.Это стандарт для параллельных приложений с передачей сообщений.Мы запускаем его на нашем кластере Linux, но он кроссплатформенный.Наиболее популярная реализация - mpich2 , написанная на C. Существуют привязки python для MPI через библиотеку mpi4py .

0 голосов
/ 19 ноября 2013

Многие распределенные вычислительные среды могут использоваться для многозадачных вычислений . Если вам не нужна парадигма MapReduce, а скорее способность распределять задачи задания между отдельными компьютерами, средствами связи и управления ресурсами, тогда вы можете взглянуть на другие платформы в этой области, такие как Condor или даже Boinc ; оба работают на Windows.

Вы также можете запустить Hadoop на виртуальных машинах Linux.

0 голосов
/ 08 ноября 2012

Я составил список доступных предложений MapReduce / Hadoop в облаке (хостинговые сервисы, уровень PaaS), это также может помочь.

0 голосов
/ 06 июля 2011

IPython имеет некоторые функции параллельных вычислений, которые просты и работают на Windows.Это может быть достаточно для ваших нужд.Вот хорошее место для начала:

http://showmedo.com/videotutorials/video?name=7200100&fromSeriesID=720

...