Как оценить использование хранилища BigTable? - PullRequest
0 голосов
/ 12 октября 2018

Как можно оценить, сколько места будет фактически использовать таблица BigTable?

Допустим, у меня есть строки 1B с одним семейством столбцов.Классификатор представляет собой строку из 10 символов.Значение представляет собой 5-символьную строку.Политика GC: только самая последняя версия.

Необработанные данные составляют 15 ГБ, но, конечно, существует много накладных расходов, таких как хранение длин и временных меток.Какой объем хранилища следует ожидать?

Что если у меня есть 2 таких семейства?Это просто умножается?

1 Ответ

0 голосов
/ 30 октября 2018

К сожалению, здесь нет очень точного эмпирического правила, но вы должны ожидать где-то того же порядка, что и логический размер данных.

Вещи могут существенно уменьшиться, если ваши данные хорошо сжимаются,но не должно быть значительно больше по модулю очевидных источников накладных расходов, о которых вы упомянули.Если они это сделают, дайте нам знать!

Например, некоторые наивные математики в вашем примере ожидают 8B / timestamp * 1B = 8 ГБ дополнительного пространства для временных отметок, но учтите, что все ваши временные отметки, вероятно, будут близки друг к другуи поэтому может разумно сжать до половины этого.Если у вас есть строки или диапазоны строк, которые содержат несколько значений с одинаковыми или почти идентичными временными метками, сжатие может быть даже лучше.

Также имейте в виду, что это постоянные издержки на значение, поэтому при больших значениях оно будетвнести меньшую долю от общей стоимости.И, конечно же, прейскурантная цена даже на 8 ГБ дополнительного места на SSD составляет <$ 2 / месяц (<a href="https://cloud.google.com/products/calculator/#id=996764ef-d4a4-4043-8016-177c8100a35f" rel="nofollow noreferrer">https://cloud.google.com/products/calculator/#id=996764ef-d4a4-4043-8016-177c8100a35f)

).
...