Дополнительный горячий кеш за счет отключения политики времени приема - PullRequest
Новая
       14

Дополнительный горячий кеш за счет отключения политики времени приема

0 голосов
/ 25 апреля 2020

Я включил политику времени приема в свою таблицу, а затем сохраняю последние данные за 1 день для таблицы в оперативном кэше. Я пытаюсь оценить, сколько дополнительного кеша я могу получить для реальных данных, если отключу политику времени приема. В общем, я могу себе представить, что, поскольку включена политика времени приема, для каждой строки у меня есть дополнительное значение столбца ingestion_time типа datetime. Таким образом, если это занимает N байтов для хранения одного значения даты и времени, то, если у меня есть X строк в оперативном кэше, я трачу свой кэш на X * N байтов - которые в противном случае могли бы использоваться некоторыми дополнительными фактическими данными (учитывая, что использование уже более 100%) Поэтому я пытаюсь оценить, сколько кеша я трачу, включив политику времени приема.

1 Ответ

1 голос
/ 25 апреля 2020

a. Я бы не стал называть это "отходом"

  • Если только вы не используете ingestion_time() ни в одном из ваших запросов. в этом случае - вы можете решить, что хотите отключить политику, которая включена по умолчанию. (Хотя вы можете передумать позже, когда вам это действительно понадобится, и пожалеть об этом решении)

b. Чтобы получить оценку размеров (то есть дисковый кеш) использования), вы можете запустить .show table TABLENAME, чтобы просмотреть статистику (включая исходные / сжатые / размеры индекса) для каждого столбца.

  • Осторожно: это не легкая команда, поэтому не запускайте его слишком часто.
  • Посмотрите на столбец с типом datetime, значения которого близки по времени к тому времени, когда данные попадают в качестве ссылки, - так что он напоминает содержимое ingestion_time(). Вы можете сравнить это с другими столбцами в таблице.
  • Фактический размер на диске: ExtentSize.

c. Помните, что Kusto / ADX - это (в основном, исключая RowStore, используемый при потоковой загрузке) технология хранения столбцов - данные хранятся в столбцах, а не в строках (как следует из исходного вопроса). Подробнее о технологии вы можете прочитать в его техническом документе .

...