стратегия сжатия кассандры для данных, которая обновляется - PullRequest
Новая
       74

стратегия сжатия кассандры для данных, которая обновляется

0 голосов
/ 05 июня 2018

Я пытаюсь придумать стратегию сжатия для следующего варианта использования.

У нас есть таблица с ttl 3 года.Большинство данных в нашем сценарии будут обновлены через 1 месяц после их добавления.

Таким образом, по сути, все обновления записи будут происходить в течение месяца и в среднем в течение 2 недель.

Могут быть некоторые выбросы, которые могут иметь обновление через месяц, но это будет редко.

Теперь я думаю об использовании TWCS с окном 1 месяц (или может быть 2 недели)Я знаю, что наш вариант использования - не идеальные данные временных рядов.но через месяц большинство данных никогда не получат обновления и будут находиться в одном sstable.

Однако я не уверен, что использование окна размером 1 месяц будет иметь побочные эффекты.

Кроме того, если обновление выходит за размер окна (т.е. через месяц), это создаст какую-либо серьезную проблему?

Пожалуйста, дайте мне знать, что может быть лучшей стратегией для вышеуказанного сценария?

1 Ответ

0 голосов
/ 05 июня 2018

TWCS может быть хорошим выбором.Но это зависит от размера данных.Если у вас большой объем данных, вы получите большие sstables через 1 месяц.Я думаю, что было бы более разумно иметь еженедельные / раз в две недели SStables.

Но это подводит нас к следующему вопросу: «Что происходит с неупорядоченными обновлениями?»Проблема в том, что sstable не будет удален, даже если срок его действия истек, из-за «тени» данных в другом sstable.Таким образом, файлы будут храниться на вашем жестком диске дольше, чем вы ожидаете.Кроме того, поскольку TWCS сжимает данные ОДИН РАЗ после того, как окно выполнено, ваши данные будут распределены по нескольким sstables, что может повлиять на производительность чтения.

У вас есть 2 варианта:

  1. Начните с TWCS и посмотрите, как это происходит, но зная потенциальные недостатки.
  2. Начните с STCS и создайте узел в режиме write-survey или измените в одном узле стратегия уплотнения через JMX .

Если у вас есть отличная статья о TWCS, надгробиях и затенении здесь: http://thelastpickle.com/blog/2016/12/08/TWCS-part1.html

Всегда помните, что вы можете изменить свою стратегию уплотнения позже, это не "бесплатно" или "безболезненно", но может быть сделано.

...