Redshift Cluster Resize [Недостаточно места на диске]

Question

В настоящее время у нас есть кластер Redshift с ds2.xlarge, и мы хотели бы изменить размер до dc2.large, но у нас есть проблемы с этим. Мы получаем сообщение об ошибке, говорящее о том, что дискового пространства недостаточно.

В настоящее время у нас есть около 720 ГБ данных, и мы пытаемся изменить его размер до dc2 с 5 узлами (800 ГБ).

Я не уверен, почему мы получаем это? У вас есть идеи?

Answer 1

Hibari - не рекомендуется упаковывать 720 ГБ данных в кластер Redshift с максимальным объемом хранения 800 ГБ. Это происходит по нескольким причинам:

1. Требуется место на диске в качестве пустого места для выполнения запросов и других операций с данными (вакуум)
2. Скретч-данные не сжимаются при хранении на диске
3. Операциям загрузки данных, таким как COPY, требуется место для хранения входящих данных
4. Redshift основан на мультиверсионной согласованности, поэтому необходимо сохранить много дополнительных блоков, чтобы транзакции имели доступ к правильным данным.

Переход между типами узлов повлияет на способ хранения данных на диске - вы переходите от 1 (?) Узла с 16 срезами к 5 узлам с 10 срезами. Если у вас есть таблицы распределения ВСЕ, они будут храниться 5 раз, а не один раз. Размер базы данных в этом новом кластере может не совпадать - он может быть меньше или больше.

Я ожидаю, что реальный предел заключается в организации данных в новом кластере, как они поступают из старого кластера , Как я уже упоминал, данные в полете несжатые, вероятно, именно этот рабочий набор вызывает проблему.

Вам нужно больше кластера для такого количества данных.