Таблица hbase произвольного доступа в задании mapreduce

Question

У меня есть задание уменьшения карты, в котором каждому картографу требуется произвольный доступ к другой таблице HBase много раз.Мне интересно, насколько эффективно это для такого большого количества произвольного доступа (одновременно, из-за одновременного запуска преобразователей) к таблицам HBase.

Большое спасибо!

Answer 1

HBase эффективен при произвольном доступе - однако в зависимости от того, насколько велика таблица на карте / уменьшить и сколько тимов вы выполняете, при вводе / выводе вы можете рассмотреть альтернативные варианты например если таблица произвольного доступа / доступа достаточно мала - загрузите ее в память в каждом маппере (для этого переопределите настройку). Если таблица произвольного доступа велика, попробуйте запустить дополнительную карту / уменьшение, чтобы подготовить ее к другому уменьшению карты (чтобы вы перебрали обе таблицы / объединенную таблицу)