Тюнинг куду, запись исполнения - PullRequest
Новая
       43

Тюнинг куду, запись исполнения

0 голосов
/ 11 ноября 2019

Версия Kudu ： kudu 1.7.0-cdh5.16.2

Системная память, один узел: 256G

4 твердотельных накопителя на машину: 512G

Три мастер-узла и три сервераузлы. 

// Master config
--fs_wal_dir=/mnt/disk1/kudu/var/wal
--fs_data_dirs=/mnt/disk1/kudu/var/data,/mnt/disk2/kudu/var/data,/mnt/disk3/kudu/var/data,/mnt/disk4/kudu/var/data
--fs_metadata_dir=/mnt/disk1/kudu/var/metadata
--log_dir=/mnt/disk1/kudu/var/logs
--master_addresses=xxxx
--maintenance_manager_num_threads=2
--block_cache_capacity_mb=6144
--memory_limit_hard_bytes=34359738368
--max_log_size=40

// Tserver config
--fs_wal_dir=/mnt/disk1/kudu/var/wal
--fs_data_dirs=/mnt/disk1/kudu/var/data,/mnt/disk2/kudu/var/data,/mnt/disk3/kudu/var/data,/mnt/disk4/kudu/var/data
--fs_metadata_dir=/mnt/disk1/kudu/var/metadata
--log_dir=/mnt/disk1/kudu/var/logs
--tserver_master_addrs=xxxx
--block_cache_capacity_mb=6144
--memory_limit_hard_bytes=34359738368
--max_log_size=40

// Table schema
// _key is UUID for each msg
// event_time is data time
// Schema has only 15 columns
// Single message does not exceed 100Bytes

HASH (_key) PARTITIONS 3,
RANGE (event_time) (
    PARTITION 2019-10-31T16:00:00.000000Z <= VALUES < 2019-11-30T16:00:00.000000Z
)

Я пишу проект для записи данных в kudu.

В ручном или автоматическом режиме записи скорость записи составляет всего 6M / s.

Я думаю, что SSDдолжно быть больше, чем эта скорость, и сеть и память не достигли узкого места.

Как настроить?

...