Кассандра массивная проблема записи записи

Question

У меня есть сервер с 4 ГБ оперативной памяти и 2x 4-ядерным процессором. Когда я начинаю выполнять массивные записи в Cassandra, изначально все работает нормально, но через пару часов при 10 000 операций вставки в секунду база данных увеличивается до 25+ ГБ, а производительность снижается до 500 операций вставки в секунду !

Я узнаю это, потому что операции сжатия очень медленные, но я не понимаю, почему? Я установил 8 одновременных потоков сжатия, но Кассандра не использует 8 потоков; загружены только 2 ядра.

Ценю любую помощь.

Answer 1

Мы видели похожие проблемы с Кассандрой, см .:

http://www.acunu.com/blogs/richard-low/cassandra-under-heavy-write-load-part-ii/

Одним из решений таких проблем снижения производительности (но ни в коем случае не единственным) является рассмотрение другого механизма хранения, такого как Castle, который используется в приведенном выше сообщении в блоге - его open source (GPL v2), имеет гораздо лучшую производительность и деградирует гораздо изящнее. Код здесь (я только что открыл ветку для поддержки Cassandra 0.8):

https://bitbucket.org/acunu/fs.hg

А инструкции по началу работы здесь:

http://support.acunu.com/entries/20216797-castle-build-instructions

(Полное раскрытие: я работаю на Акуну, поэтому, возможно, немного предвзят;) 1011 *