org.apache.hadoop.hbase.RegionTooBusyException - PullRequest
0 голосов
/ 25 сентября 2019

Я пытаюсь загрузить 3 миллиарда записей (файл ORC) из куста в Hbase, используя интеграцию hive-HBase.

Hive Создать таблицу DDL

CREATE EXTERNAL TABLE cs.account_dim_hbase(`account_number` string,`encrypted_account_number` string,`affiliate_code` string,`alternate_party_name` string, `alternate_party_name` string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,account_dim:encrypted_account_number,account_dim:affiliate_code,account_dim:alternate_party_name")TBLPROPERTIES ("hbase.table.name" = "default:account_dim");

Hive Insert Query to HBase, я запускаю 128 команду вставки, аналогичную приведенному ниже примеру.

insert  into table cs.account_dim_hbase  select account_number ,encrypted_account_number ,    affiliate_code ,alternate_party_name,mod_account_number from cds.account_dim where mod_account_number=1;

Когда я пытаюсь запустить все 128 вставок одновременно, я получаю ошибку ниже

Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 438 actions: org.apache.hadoop.hbase.RegionTooBusyException: Over memstore limit=2.0G, regionName=jhgjhsdgfjgsdjf, server=cldf0007.com

Помогите мне исправить это и дайте мне знать, если я делаю что-то не так.Я использую HDP 3

...