Какой должна быть Снежинка?

Question

Мы решили реорганизовать хранилище продуктов со снежинкой для хранения данных временных рядов. В настоящее время у нас есть 10 ТБ временных рядов (которые увеличиваются ежедневно) и 6 заданий с, которые срабатывают после каждого 15-минутного интервала и используют почти 40 ГБ / день данные для обработки . Мы используем Microsoft Azure cloud.

Поскольку мы не получаем точный размер узла / сервера / кластера снежинки, подскажите, пожалуйста, какой должен быть размер склада, который мы должны выбрать.

Answer 1

Размер склада можно изменить в любое время. Таким образом, вы можете начать с малого, а затем увеличить размер, пока не найдете оптимальный размер. Вы также можете использовать несколько хранилищ, чтобы можно было перераспределить рабочую нагрузку.

Я предлагаю вам сосредоточиться на ключах кластеризации, а не на размере хранилища, поскольку выбор правильного ключа кластеризации для эффективного сокращения данных будет очень важен в вашем случае. :

https://docs.snowflake.net/manuals/user-guide/tables-clustering-keys.html#benefits определения ключей кластеризации для очень больших таблиц