Как я могу улучшить производительность чтения / записи Cassandra?

Question

Я работаю над настройкой Cassandra с одним узлом. Система, которую я использую, имеет 4-ядерный процессор с 8 ГБ оперативной памяти. Свойства семейства столбцов, которые я использую:

Keyspace: keyspace1:
  Replication Strategy: org.apache.cassandra.locator.NetworkTopologyStrategy
  Durable Writes: true
    Options: [datacenter1:1]
  Column Families:
    ColumnFamily: colfamily (Super)
      Key Validation Class: org.apache.cassandra.db.marshal.UTF8Type
      Default column value validator: org.apache.cassandra.db.marshal.UTF8Type
      Columns sorted by: org.apache.cassandra.db.marshal.UTF8Type/org.apache.cassandra.db.marshal.BytesType
      Row cache size / save period in seconds / keys to save : 100000.0/0/all
      Row Cache Provider: org.apache.cassandra.cache.ConcurrentLinkedHashCacheProvider
      Key cache size / save period in seconds: 200000.0/14400
      GC grace seconds: 864000
      Compaction min/max thresholds: 4/32
      Read repair chance: 1.0
      Replicate on write: true
      Built indexes: []
      Compaction Strategy: org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy

Я попытался вставить 1 миллион строк в семейство столбцов. Пропускная способность записи составляет около 2500 в секунду, а чтения - около 380 в секунду.

Как улучшить пропускную способность чтения и записи ??.

Answer 1

380 в секунду означает, что вы читаете данные с жесткого диска с низкой частотой обращений к кешу или происходит перестановка ОС. Проверьте статистику Cassandra, чтобы выяснить использование кэша:

./nodetool -host <IP> cfstats

Вы включили кеш строк и ключей. кеш строк будет читать всю строку в оперативной памяти - означает все столбцы, заданные ключом строки. В этом случае вы можете отключить кеш ключей. Но убедитесь, что у вас достаточно свободной оперативной памяти для обработки кэширования строк.

Если у вас Cassandra с кэшем вне кучи (по умолчанию от 1.x), вполне возможно, что кэш строк очень велик и ОС начала менять - проверьте размер раздела - это может снизить производительность.