высокий iops при вставке данных в ClickHouse - PullRequest
0 голосов
/ 05 августа 2020

Я столкнулся с проблемой производительности при вставке данных в Clickhouse. мы вставили 100000 строк в пакет, интервал времени составляет 30 секунд, но поскольку количество элементов поля ключа раздела велико, поэтому 100000 строк будут вставлены в более 2000 разделов, тогда он достиг ограничения iops, который составляет 150, даже если мы увеличим ограничение iops ebs до 2000, все еще достигло ограничения. Как я могу уменьшить iops, если я не могу уменьшить количество разделов? версия clickhouse - 20,5 Заранее спасибо!

1 Ответ

1 голос
/ 05 августа 2020

2000 разделов ~ это 2000 * количество_колонок * 2 (4) файла (* 2 iops) на вставку.

попробуйте включить Компактные части Компактность - все столбцы хранятся в одном файле в файловой системе. table SETTINGS min_bytes_for_wide_part = '10M'

или попробуйте engine = Buffer

...