MapReduce на Hbase, используя Thrift в .NET?

Question

Могу ли я использовать потоковую передачу Hadoop для запуска заданий MapReduce на HBase, используя thrift в .NET? Или есть ли другой способ запуска заданий MapReduce на HBase из .NET?

Answer 1

Я успешно достиг этого.Итак, ответ - да, это можно сделать.

Редактировать

Я не знаю, почему проголосовал против, у вопроса есть ответ, но вот как я добилсяit:

Thrift более легкий, чем REST API, и в некоторых сценариях дает большую производительность, чем java api, я использовал Hadoop Streaming API и предоставил ему свою собственную реализацию Mapper, которая использует Thrift для взаимодействия с hbase, например

bin/hadoop jar contrib/streaming/hadoop-*-streaming.jar -input input/sample.txt -output output -mapper input/StdInOut.exe -reducer NONE

Answer 2

Вы также можете использовать REST API ( stargate ).Тем не менее, ни один из серверов Thrift или Stargate не является хорошим способом запуска заданий MapReduce.И то, и другое требует отдельного процесса-демона, который был бы единственной точкой разногласия и не обеспечил бы локальность данных.Java mapreduce api идентифицирует локальные области данных для входных разбиений.Таким образом, ключ заключается в использовании Java API с .Net. Этот вопрос предоставляет стороннее усовершенствование потокового API для hbase, которое позволит вам использовать приложение .Net через stdin / stdout.