Cassandra - TWCS увеличил использование процессора и LiveSSTableCount - PullRequest
1 голос
/ 30 января 2020

Мы исторически использовали STCS в качестве стратегии уплотнения для нашей таблицы Cassandra, что приводило к слишком большому количеству надгробий. Учитывая, что данные в таблице только добавляются и используют TTL 30 дней (без ручного обновления или удаления), мы переключились на TWCS с compaction_window_size 1 день. Это привело к высокой загрузке процессора и LiveSSTableCount, а также к большим задержкам чтения из кластера.

Снимки панели инструментов ниже.
Изменение стратегии совпадает с перегибом на графиках.

High CPU Usage

Increased FD

Increased Block IO

Ожидается ли это при переключении с STCS на TWCS? Можем ли мы настроить параметры здесь, чтобы убедиться, что это не повлияет на чтение из кластера?

Подробнее о схеме таблицы.

CREATE TABLE Foo (
user_uuid uuid,
ts bigint,
... //skipped a few columns
PRIMARY KEY (user_uuid, ts, event_uuid)
) WITH CLUSTERING ORDER BY (ts DESC, event_uuid ASC)
AND bloom_filter_fp_chance = 0.01
AND caching = {'keys': 'ALL', 'rows_per_partition': 'NONE'}
AND comment = ''
AND compaction = {'class': 'org.apache.cassandra.db.compaction.TimeWindowCompactionStrategy', 'compaction_window_size': '24', 'compaction_window_unit': 'HOURS', 'max_threshold': '32', 'min_threshold': '4'}
AND compression = {'chunk_length_in_kb': '64', 'class': 'org.apache.cassandra.io.compress.LZ4Compressor'}
AND crc_check_chance = 1.0
AND dclocal_read_repair_chance = 0.1
AND default_time_to_live = 2592000
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99PERCENTILE';
...