Третий узел Кассандры имеет разную нагрузку

Question

У нас был кластер кассандры с двумя узлами в одном центре обработки данных с коэффициентом репликации пространства ключей 2 для «тритонов» пространства ключей.Если бы я запустил состояние nodetool, я мог бы видеть, что нагрузка между двумя узлами и каждым узлом была примерно одинаковой, 100%.

Я пошел дальше и добавил третий узел, и я могу видеть все три узла в nodetoolвывод статуса.Я увеличил коэффициент репликации до трех, поскольку теперь у меня есть три узла, и я выполнил «восстановление узла» на третьем узле.Однако, когда я теперь запускаю статус nodetool, я вижу, что нагрузка между тремя узлами различна, но каждому узлу принадлежит 100%.Как это может быть и есть ли что-то, что я здесь упускаю?

nodetool -u cassandra -pw cassandra status
Datacenter: datacenter1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address       Load       Tokens       Owns (effective)  Host ID                               Rack
UN  84.19.159.94  38.6 GiB   256          100.0%            2d597a3e-0120-410a-a7b8-16ccf9498c55  rack1
UN  84.19.159.93  42.51 GiB  256          100.0%            f746d694-c5c2-4f51-aa7f-0b788676e677  rack1
UN  84.19.159.92  5.84 GiB   256          100.0%            8f034b7f-fc2d-4210-927f-991815387078  rack1

вывод тритонов состояния nodetool:

Datacenter: datacenter1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address       Load       Tokens       Owns (effective)  Host ID                               Rack
UN  84.19.159.94  38.85 GiB  256          100.0%            2d597a3e-0120-410a-a7b8-16ccf9498c55  rack1
UN  84.19.159.93  42.75 GiB  256          100.0%            f746d694-c5c2-4f51-aa7f-0b788676e677  rack1
UN  84.19.159.92  6.17 GiB   256          100.0%            8f034b7f-fc2d-4210-927f-991815387078  rack1

Answer 1

Вы просто запускаете восстановление nodetool на всех 3 узлах и запускаете очистку nodetool один за другим на существующих узлах, а затем перезапускаете узел один за другим, кажется, что он работает.

Answer 2

Когда вы добавили узел, а теперь есть три узла и увеличили свой коэффициент репликации до трех - каждый узел будет иметь копию ваших данных и таким образом будет владеть 100% ваших данных.

Другой том для «Load» может быть результатом того, что nodetool cleanup не будет запущен после добавления третьего узла на два старых узла - старые данные в ваших sstables не будут удалены при добавлении узла (но позже послеочистка и / или сжатие):

Загрузка - обновляется каждые 90 секунд. Объем данных файловой системы в каталоге данных cassandra после исключения всего содержимого в подкаталогах моментальных снимков.Поскольку включены все файлы данных SSTable, подсчитываются все данные, которые не были очищены, такие как ячейка с истекшим сроком действия или захороненные данные.

(от https://docs.datastax.com/en/cassandra/3.0/cassandra/tools/toolsStatus.html)