Поддержка Hadoop для php, ruby - PullRequest
Новая
       6

Поддержка Hadoop для php, ruby

0 голосов
/ 26 марта 2012

Интересно, какой уровень программирования hadoop можно выполнить с помощью PHP или Ruby. Я нашел статьи, в которых рассказывалось о API потоковой передачи hadoop, которое можно взломать с помощью PHP, Ruby.

Мои вопросы

  1. Можете ли вы написать работу по сокращению карты в PHP, Ruby, которая может работать с другими заданиями hadoop java map-Reduce?

  2. С точки зрения программирования на уровне API, чего не хватает для не-Java-языков в Hadoop? то есть что-то, что можно сделать только в Java сейчас против других языков?

Спасибо

Ответы [ 2 ]

2 голосов
/ 26 марта 2012

В двух словах: у hadoop есть множество других плагинов, кроме картографов и редукторов: объединители, компараторы форматов ввода / вывода. Эти плагины могут быть написаны только на Java.
Таким образом, это означает, что использование hadoop через потоковую передачу может подойти для некоторых простых случаев, но серьезно снизит вашу гибкость.
Потоковая передача также несколько медленнее, поскольку для передачи записей в преобразователи и преобразователи используются различные механизмы.

1 голос
/ 26 марта 2012
  1. Если вы имеете в виду связывание java M / R-заданий (например, нативного API) с потоковыми заданиями - я видел этот, казалось бы, релевантный ответ в аналогичном потоке.
  2. То, что вы делаете в скрипте Streaming, в основном ограничено возможностями выбранного вами языка. И Ruby, и PHP довольно мощные, поэтому я не уверен, что вам не хватает в этих.

Лично я также пришел из Ruby / Python и сначала попытался использовать потоковую передачу для достижения цели. В конце концов я решил дать шанс API Java, и это оказалось не так уж и плохо:)

...