Резервное копирование Cassandra Cluster со снимками и загрузка в s3 / vm?

Question

Резервное копирование Cassandra с использованием моментальных снимков и загрузка их - обычное дело для кластера?

Я думал о том, чтобы задание cron на каждом узле делало снимок, записывал его и загружал его каждые 24 часа, но я немного беспокоюсь о его влиянии на производительность. Когда данные на узле становятся большими, разве это не может нанести ущерб?

Answer 1

Резервные копии, созданные nodetool snapshot в Cassandra, являются жесткими ссылками, поэтому фактически не будут занимать больше места, чем исходный файл. См. Этот пост для объяснения жестких / мягких ссылок:

https://askubuntu.com/questions/108771/what-is-the-difference-between-a-hard-link-and-a-symbolic-link

Однако, если вы не очищаете снимки с помощью nodetool clearsnapshot, ваши данные будут расти в кластере с течением времени. Документы здесь говорят о очистке снимков

Между прочим, tabletoat для nodetool (ранее nodetool cfstats) очень полезен для просмотра количества снимков, которые вы используете на данном узле для данной таблицы.

Answer 2

Существует 2 вида стратегий резервного копирования: полное резервное копирование и инкрементное резервное копирование. После создания полной резервной копии включите инкрементные резервные копии на каждом узле. Вы можете сделать 1 задание cron для синхронизации всех инкрементных резервных копий с s3. (Fullbackup + все инкрементные резервные копии после этого делает резервную копию обновления).

Таким образом, у вас может быть другое задание cron, которое вы можете запускать только на выходных или раз в месяц, чтобы удалить все предыдущие резервные копии и создать полную резервную копию.