Кассандра запускала уплотнение во время массовой загрузки (sstableloader)?

Question

Недавно я столкнулся с одной проблемой при загрузке данных в новые кластеры. По сути, я запускаю несколько sstableloader на каждом моем исходном узле кассандры, чтобы передавать данные в совершенно новый кластер кассандры с 3 узлами, исходный кластер также имеет 3 узла.

Сначала все работает довольно хорошо, но в конце концов я нашел вне нового кластера был OOD в середине. Объем данных в моем исходном кластере составляет около 15 ГБ на узел, а RF == 3, он занимал около 200 ГБ на моем новом кластере, и, кажется, этого недостаточно.

Мне было интересно, что Cassandra выполняла сжатие во время потоковой передачи данных в? Поскольку я проверил диск и обнаружил, что в одной из таблиц содержится более 4000+ файлов .db.

Answer 1

Наконец я понял, что Кассандра будет выполнять уплотнение в процессе массовой загрузки.

Причина, по которой я получаю OOD, заключается в том, что я запустил слишком много sstableloader в новом кластере для потоковой передачи данных самому себе, что создает слишком большую нагрузку на его ЦП, поэтому скорость сжатия намного меньше скорости потоковой передачи, что наконец, вызвал OOD.