Hadoop maprecece потоковое из HBase - PullRequest
6 голосов
/ 10 ноября 2009

Я создаю задание mapreduce Hadoop (0.20.1), которое использует HBase (0.20.1) как источник данных, так и приемник данных. Я хотел бы написать работу на Python, которая потребовала от меня использовать hadoop-0.20.1-streaming.jar для потоковой передачи данных в и из моих скриптов Python. Это прекрасно работает, если источником / приемником данных являются файлы HDFS.

Поддерживает ли Hadoop потоковую передачу из / в HBase для mapreduce?

1 Ответ

1 голос
/ 10 ноября 2009

Это похоже на то, что я хочу, но это не часть дистрибутива Hadoop. Любые другие предложения или комментарии по-прежнему приветствуются.

http://github.com/wanpark/hadoop-hbase-streaming

...