У меня есть ситуация, когда у меня есть таблица в Cloudera Impala (формат паркета),
Статистика таблицы:
Размер : 23 ГБ Строки: 67M RowSize : Приблизительно 5KB Столбцы : 308
Общее количество кластеров Cloudera - 6 узлов (диск: 84 ТБ каждый, RAM - 251 ГБ каждый)
Мастер и планшетный сервер Kudu 2 мастер-узла, 5 планшетных серверов (один узел выступает в качестве сервера планшета, а также как мастер)
вот моя таблица Схема (Структура)
CREATE TABLE SRV_REQ_X
PRIMARY KEY (row_id)
PARTITION BY HASH(row_id) PARTITIONS 5
STORED AS KUDU
TBLPROPERTIES ('kudu.table_name'='IMPALA_DATABASE.KUDU TABLE NAME','kudu.master_addresses'='host1:7051,host2:7051','kudu.num_tablet_replicas' = '3')
AS
Select columns* from table*
Проверены различные свойства
The properties I have checked and played with are
memory_limit_hard_bytes = Checked with 0 and 1 and 250GB (Same result Tablet
Server Crashes)
maintenance_manager_num = Checked with 1 as well as 4
Записи вставлены, но в какой-то момент эта ошибка появляется
Сообщено об ошибках Kudu, первая ошибка: Превышено время ожидания: ошибка записипартия 94 вуп таблетки 842e935e768f4a419b193e1fb18e3155 после 329 попыток (ы): Не удалось записать на сервер: 2d35eb2445e747bea574a5e1af6e0b2a (bda-ptcl1node02.ptcl.net.pk:7050): Написать RPC к 192.168.228.2:7050 истекло после 179.996s (ПОСЛАН)
Мне нужно вставить другие таблицы, которыеh составляет около 102 млн. записей, и я не могу понять, как настроить свойства Kudu для моего кластера.
PS Большинство записей, занесенных в таблицу Kudu, составили 13M со следующими свойствами, а затем истекло время ожидания.
memory_limit_hard_bytes = 250GB
maintenance_manager_num = 4
block_cache_capacity_mb = 130GB
Partitions: 4
Пожалуйста, помогите !!