Зависание клиентского сканера Hbase

Question

Я использую Hbase в течение нескольких месяцев, и я загрузил таблицу Hbase с более чем 6 ГБ данных.Когда я пытался сканировать строки с помощью Java-клиента, он зависает и сообщает о следующей ошибке:

Could not seek StoreFileScanner[HFileScanner for reader reader=hdfs

Далее, если я войду в оболочку и отсканирую, она работает отлично, и даже сканер клиента Java отлично работает для таблицы hbase, имеющей небольшое количестводанных.

Есть ли обходной путь для этого?

Answer 1

Для больших данных вы можете написать карту уменьшить код. простые Java-программы не очень эффективны, когда дело касается больших данных. Вы можете заглянуть в сценарий свиньи, чтобы добиться этого.

Проверьте это для получения дополнительной помощи:

http://sujee.net/tech/articles/hadoop/hbase-map-reduce-freq-counter/

http://wiki.apache.org/hadoop/Hbase/MapReduce

http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/mapreduce/package-summary.html

Или же вы можете попробовать Pig Scripts и для программ уменьшения маптов.

http://pig.apache.org/docs/r0.9.1/api/org/apache/pig/backend/hadoop/hbase/HBaseTableInputFormat.html

Еще один вариант - увеличить свойство времени ожидания HBase и попробовать. Из различных настроек конфигурации HBase вы можете обратиться:

http://hbase.apache.org/docs/r0.20.6/hbase-conf.html

Но когда дело касается больших данных, код Map-Reduce всегда лучше, и вы также можете искать рекомендации по оптимизации / рекомендации для hbase.