Cassandra - интенсивное чтение и умеренное обновление с большими данными в одном столбце - проблема с производительностью

Question

У меня есть исходные данные, которые при загрузке в Cassandra, общий размер отображается 3,5 ГБ

После этого я выполняю интенсивное чтение, например, 10 000 операций чтения в секунду, и умеренное обновление, например, 1 000 обновлений в секунду, но при обновлении один из размеров столбца обновляется до большего размера, так что общий размер строки увеличивается с 1 К до почти 5 К *. 1003 *

Хранилище заключается в том, что размер узла непрерывно увеличивается, вплоть до 300 ГБ и только увеличивается

Сжатие выполняется, производительность чтения продолжает ухудшаться без остановок. У Кассандры возникают проблемы с обновлением строки до 5К с 2К?

Это машина с оперативной памятью AWS 30 ГБ с 16 процессорами и твердотельным накопителем емкостью 1 ТБ с активированным 32 Кбит / с. Пропускная способность уплотнения установлена ​​на 256, а уплотнения - на 8, при этом отклонение чтения продолжается, а размер таблиц SS увеличивается

Чтение в секунду ухудшается с 22 000 в секунду до 5 000 в секунду в течение 1 дня

Пожалуйста, дайте мне знать, что не так в конфигурации

Answer 1

В основном наблюдайте ожидающие уплотнения и, если они увеличиваются, сначала увеличьте пропускную способность уплотнения с помощью nodetool.

Если вы видите, что ожидающие уплотнения начали уменьшаться, увеличьте их немного больше по сравнению с этой конфигурацией в качестве буфера.

Также вы можете увеличить количество одновременно работающих компакторов, если вы используете CPU, не перегруженный во время операций + уплотнение