Как найти большой раздел в Кассандре, кроме system.log?

Question

Как мы можем найти большие разделы в нашем кластере cassandra, прежде чем войти в system.log?из-за этого мы столкнулись с проблемой производительности.Может кто-нибудь мне помочь.У нас есть кассандра версии 2.0.11 и 2.1.16.

Answer 1

Команда Try nodetool tablehistograms -- <keyspace> <table> предоставляет статистику о таблице, включая задержку чтения / записи, размер раздела, количество столбцов и количество SSTable.

Ниже приведен пример вывода:

Percentile  SSTables     Write Latency      Read Latency    Partition Size        Cell Count
                              (micros)          (micros)           (bytes)                  
50%             0.00             73.46              0.00         223875792             61214
75%             0.00             88.15              0.00         668489532            182785
95%             0.00            152.32              0.00        1996099046            654949
98%             0.00            785.94              0.00        3449259151           1358102
99%             0.00            943.13              0.00        3449259151           1358102
Min             0.00             24.60              0.00              5723                 4
Max             0.00           5839.59              0.00        5960319812           1955666

Это обеспечивает правильную статистику таблицы, например, процентиль 95% таблицы raw_data имеет размер раздела 107 МБ и максимум 3,44 ГБ.

Надеюсь, это поможет выяснить проблему с производительностью.

Answer 2

Вы можете посмотреть на вывод nodetool tablestats (или nodetool cfstats в более старых версиях Cassandra) - для каждой таблицы есть строка Максимальное число байтов сжатого раздела вместе с другой информацией, как в этомпример, когда максимальный размер раздела составляет около 268 МБ:

    Table: table_name
    SSTable count: 2
    Space used (live): 147638509
    Space used (total): 147638509
    .....
    Compacted partition minimum bytes: 43
    Compacted partition maximum bytes: 268650950
    Compacted partition mean bytes: 430941
    Average live cells per slice (last five minutes): 8256.0
    Maximum live cells per slice (last five minutes): 10239
    Average tombstones per slice (last five minutes): 1.0
    Maximum tombstones per slice (last five minutes): 1
    .....

Но nodetool tablestats предоставляет информацию только для текущего узла, поэтому вам нужно будет выполнить ее на каждом узле кластера.

Обновление : Вы можете найти самые большие разделы, используя различные инструменты:

• https://github.com/tolbertam/sstable-tools имеет команду description, которая показывает самые большие / самые широкие разделы.Эта команда также будет доступна в Cassandra 4.0 .
• для продуктов DataStax: инструмент DSBulk поддерживает подсчет разделов .