Платформа для запуска Hadoop с Hbase

Question

Мы только собирались начать работать с проектом, использующим Hadoop и Hbase, и не знали, какую платформу использовать для него.Кажется, что Hadoop на самом деле создан для систем на основе Unix, но, похоже, его также можно запускать в Windows с помощью Cygwin.

Придется ли нам сталкиваться с какими-либо конкретными проблемами, если выбрана Windows, или она будет работать так же хорошо, каклюбые системы на основе Unix.Наш проект основан на сортировке данных, созданных веб-сканером, и создании простого интерфейса поиска с использованием метода map / lower.

Если кто-то испытал, мог бы согласиться с различиями в использовании Windows / Unix на основе, например, Ubuntu.

ps: нам удобнее работать в windows

Answer 1

На данный момент Hadoop не рекомендуется в производстве на Windows-коробке.HortonWorks и Microsoft работают над переносом Hadoop на Windows Server и Azure.В настоящее время он находится в Developer Preview , и может пройти некоторое время, прежде чем он станет стабильным и открытым для публичного использования.В целях разработки Hadoop на Windows должен быть в порядке, я не уверен, но некоторые функции Hadoop могут не работать.Вот учебник для настройки Hadoop в Windows.

ps: нам удобнее работать в windows

Как уже упоминалось в комментариях, естьэто пара виртуальных машин для Hadoop в Linux, которые можно установить на виртуальный плеер или гипервизор VirtualBox.Вот учебник по началу работы с Cloudera CDH на VirtualBox.В Cloudera CDH VM есть пара платформ Apache (Hadoop, Pig, Hive, Sqoop, HBase и т. Д.), Которые настроены, хорошо интегрированы и протестированы.Другой вариант - использовать Amazon EMR для легкого начала работы.

Кстати, я бы также предложил освоиться с Linux-средами и привыкнуть к нему.Linux намного веселее, чем другие ОС.Есть много учебников / статей о том, как начать, включая this .