У нас работает кластер Cassandra с серверами узлов.Первоначально в кластере был только один узел, и мы решили, что, поскольку этому узлу не хватает места, мы можем добавить еще один узел в кластер.
Информация о кластере:
Пространство ключей скоэффициент репликации 1 с использованием класса SimpleStrategy в одном центре обработки данных
Node 1 - 256 tokens, almost no space available (1TB occupied by Cassandra data)
Node 2 - connected with 256 tokens, had 13TB available
Сначала мы добавили узел 2 в кластер, а затем поняли, что для потоковой передачи данных на узел 2 нам потребуетсявывести из эксплуатации узел 1. Поэтому мы решили вывести из эксплуатации, очистить и перенастроить узел 1 (мы хотели, чтобы узел 1 содержал только 32 токена) и повторно добавить узел 1 в центр обработки данных кластера.
При запуске процесса вывода из эксплуатации,он создал поток из 29 файлов, в общей сложности почти 600 ГБ.Этот поток успешно скопирован (мы проверили журналы и использовали nodetool netstats ), и мы ожидали, что последует второй поток, так как у нас было 1 ТБ на узле 1. Но больше ничего не произошло, узел сообщил как списанный, а узел2. Сообщено, что поток данных завершен.
Журнал узла 2, относящийся к потоку копирования:
INFO [STREAM-INIT-/10.131.155.200:48267] 2018-10-08 16:05:55,636 StreamResultFuture.java:116 - [Stream #a248d100-cb0b-11e8-a427-37a119a8af0a ID#0] Creating new streaming plan for Unbootstrap
INFO [STREAM-INIT-/10.131.155.200:48267] 2018-10-08 16:05:55,648 StreamResultFuture.java:123 - [Stream #a248d100-cb0b-11e8-a427-37a119a8af0a, ID#0] Received streaming plan for Unbootstrap
INFO [STREAM-INIT-/10.131.155.200:57298] 2018-10-08 16:05:55,648 StreamResultFuture.java:123 - [Stream #a248d100-cb0b-11e8-a427-37a119a8af0a, ID#0] Received streaming plan for Unbootstrap
INFO [STREAM-IN-/10.131.155.200:57298] 2018-10-08 16:05:55,663 StreamResultFuture.java:173 - [Stream #a248d100-cb0b-11e8-a427-37a119a8af0a ID#0] Prepare completed. Receiving 29 files(584.444GiB), sending 0 files(0.000KiB)
INFO [StreamReceiveTask:2] 2018-10-09 16:55:33,646 StreamResultFuture.java:187 - [Stream #a248d100-cb0b-11e8-a427-37a119a8af0a] Session with /10.131.155.200 is complete
INFO [StreamReceiveTask:2] 2018-10-09 16:55:33,709 StreamResultFuture.java:219 - [Stream #a248d100-cb0b-11e8-a427-37a119a8af0a] All sessions completed
После очистки папки данных cassandra (мы должны были создать резервную копию, мы знаем)мы снова запустили cassandra в узле 1, и он успешно присоединился к кластеру.
Кластер работает с:
Node 1 - 32 tokens
Node 2 - 256 tokens
Но , похоже, мы потерялимного данных.Мы делали это в соответствии с инструкциями в документации Cassandra.
Мы пытались выполнить восстановление nodetool на обоих узлах, но безрезультатно (оба сообщили, что данные не подлежат восстановлению).
Что нам здесь не хватало?Есть ли способ восстановить эти потерянные данные?
Спасибо всем!