Мы работаем над добавлением узла в существующий кластер Cassandra 2.0.11.Начав с добавления узла, я рассчитал, что узел будет складывать около 616 ГБ данных с других узлов в кластере.Потоковая передача данных прошла хорошо.Теперь, собрав 618 ГБ данных, уже более 24 часов узел по-прежнему зависает в состоянии UJ.
Статус Nodetool:
UJ xx.xxx.xxx.xxx 621.87 GB 256 ? 54a80605-9209-4e1c-9e61-3250e4458797 RAC1
Netstoats Nodetool:
Кажется, что присоединяющийся узел выполняет потоковую передачу 346 файлов с другого существующего узла yy.yyy.yy.yy за последние 24 часа, но system.logs не показывает никаких потоковых действий
-bash-4.1$ nodetool netstats | grep -v 100%
Mode: JOINING
Bootstrap 365e5830-cac9-11e8-bea5-fdb60ab1bc98
/yy.yyy.yy.yy
Receiving 346 files, 228835212751 bytes total
Чтение статистики восстановления:
Attempted: 0
Mismatch (Blocking): 0
Mismatch (Background): 0
Pool Name Active Pending Completed
Commands n/a 0 16
Responses n/a 0 202529576
В настоящее время мы включили DEBUG в system.log для перехвата, если что-то застряло.
Текущий system.log:
DEBUG [MutationStage:208] 2018-10-10 10:51:48,657 AbstractSimplePerColumnSecondaryIndex.java (line 111) applying index row xxxxxxxxxxxxxxxxxxxx in ColumnFamily(abcdefgh_ijklmno.pqr_stu_vwxyz [38643266636162312d643430312d343431652d623535652d333664376531626331343066:187181334195211023047137388 16203108:false:0@1539148904830000,])
Я пыталсявыяснить, что именно делает Кассандра.Что именно AbstractSimplePerColumnSecondaryIndex.java делает.
Поиск исходного кода, который я нашел ниже для описания AbstractSimplePerColumnSecondaryIndex.java:
Реализация вторичного индекса для семейства столбцов с использованием второго столбцасемейство, в котором ключи строк являются индексированными значениями, а имена столбцов являются базовыми ключами строки.
Если я выведу согласно терминам непрофессионала, эти журналы предполагают, что создается индекс (вторичный_индекс). У нас есть дополнительный индекс индексадля многих столов.Тем не менее, я могу утверждать, что это не так, поскольку мы ничего не видим в уплотнениях nodetool:
-bash-4.1$ nodetool compactionstats
pending tasks: 0
Active compaction remaining time : n/a
Пожалуйста, помогите с 3 вещами:
- Что должно быть идеальным решением для этого сценариягде присоединяющийся узел находится в подвешенном состоянии с тех пор.Я нашел это в сети ( Узел Кассандры не может завершить операцию присоединения ).Предложите, если это необходимо сделать
- В этих сценариях будет полезен анализ дампа потока, чтобы выяснить, какой поток действительно застрял.
- Также просьба помочь с тем, что именно происходитв system.log сейчас.