Cassandra - использование HDD и SSD не влияет на пропускную способность

Question

Контекст
В настоящее время я запускаю тесты с Apache Cassandra на кластере с одним узлом. Я удостоверился, что кластер работает и работает с использованием состояния nodetool, я сделал множество операций чтения и записи, которые предлагают как таковые, и я уверен, что мой кластер настроен правильно. Сейчас я пытаюсь ускорить свою пропускную способность, подключив SSD к каталогу, в который Cassandra записывает свои данные.

Мое решение
Расположение записи данных Cassandra обычно находится в / var / lib / cassandra / data, однако с тех пор я переключил мой, используя cassandra.yaml для записи в другое место, где я смонтировал свой SSD. Я убедился, что Кассандра пишет в это место, проверив размер содержимого каталога данных с помощью watch du -h и другими методами. Каталог, на котором я смонтировал SSD, включает в себя данные таблиц, коммит, подсказки, вложенный каталог данных и сохраненные кеши.

Проблема
Я использовал тесты YCSB ( см. https://github.com/brianfrankcooper/YCSB), чтобы проверить среднюю пропускную способность и ops / se c Cassandra. Я не заметил различий в средней пропускной способности при установке жесткого диска против SSD в том месте, куда Cassandra записывает свои данные. Я проанализировал доступ к диску через dstat -cd --disk-util --disk-tps и обнаружил, что жесткие диски ограничивают использование процессора во многих случаях, тогда как SSD несколько раз достигает 80% *.

Вопрос
Как я могу ускорить пропускную способность Cassandra, используя SSD поверх HDD? Я предполагаю, что это правильное место для установки моего SSD, но разве Cassandra не использует свою дополнительную вычислительную мощность? Любая помощь будет принята с благодарностью!

Answer 1

SSD всегда должен превосходить HDD с точки зрения задержки, и т. Д. c. Это просто закон физики. Я думаю, что ваш тест просто не обеспечил достаточную нагрузку на систему. Другая проблема может заключаться в том, что вы монтируете только данные на SSD, а не журналы фиксации - на жестких дисках их всегда следует помещать на отдельный диск, чтобы избежать конфликтов с загрузкой данных. На твердотельных накопителях они могут быть помещены на тот же диск, что и данные. Пожалуйста, укажите все каталоги на твердотельные накопители, чтобы увидеть разницу.

Я рекомендую выполнить сравнение, используя следующие инструменты:

• perfscripts - он использует инструмент fio для эмуляции Cassandra-подобных рабочих нагрузок, и если вы запустите его как на жестких, так и на жестких дисках, вы увидите разницу в задержке. Вы можете даже не выполнить его - просто посмотрите папку historic, где есть результаты для разных типов дисков;
• DSBench - недавно она была выпущена командой DataStax, которая специализируется на бенчмаркингах Кассандра и ДСЭ. В wiki описаны встроенные рабочие нагрузки , которые вы можете использовать для тестирования. Удостоверьтесь, что вы выполняете загрузку достаточно долго, чтобы увидеть эффект уплотнения, например c.