Как спланировать мониторинг использования Снежинки

Question

Snowflake - это в основном облачное хранилище данных. Основной единицей работы в Snowflake является запрос. Чтобы отслеживать нагрузку, нам нужно отслеживать загрузку запроса через определенный интервал.

Два доступных параметра :

1.  INFORMATION_SCHEMA Schema
2.  ACCOUNT_USAGE Schema

Обе эти схемы содержат представление QUERY_HISTORY. Здесь панель мониторинга может быть создана с использованием любой из схем. Но нам нужно понять ограничения этой схемы, ниже приведены наши выводы

QUERY_HISTORY VIEW IN :

INFORMATION_SCHEMA : она содержит только 10 000 записей,В этом случае нельзя предсказать, что данные результата принадлежат к желаемой продолжительности или нет. Поскольку строки 10K могут быть вставлены согласно трафику в то время. В этом случае результаты INFORMATION_SCHEMA могут быть противоречивыми. Он содержит данные для интервала 14 дней ИЛИ 10 000 записей.

ACCOUNT_USAGE : содержит данные за 1 год с задержкой в ​​45 минут.

Заключение: В случае, если требуемый анализ данных является непрерывным, используйте только INFORMATION_SCHEMA.

В случае, если требуемый анализ данных может выдержать задержку в 45 минут, чем должна использоваться схема ACCOUNT_USAGE.

Answer 1

Используя внутренний инструмент, мы опрашиваем INFORMATION_SCHEMA с 10-минутным разрешением, я думаю, что мы могли бы даже продолжить опрос, если текущий блок не содержит текущий, и добавить первый раз в пакет, если мы получаем 10Kрезультаты обратно.

Затем мы добавляем это в InfluxDB, чтобы мы могли составить график и предупредить об этом. Основным недостатком является то, что запрос на получение истории сам по себе является запросом, поэтому, если вы испытываете время очереди (и используете тот же склад, у которого также есть задержка) и более старую проблему, если вы насыщаете пределы подключения к учетной записи, вы такжене может войти, чтобы увидеть, что насыщает учетную запись, и в этом состоянии вы также не можете войти в пользовательский интерфейс. Чтобы обойти это, мы наложили ограничения на все наши инструменты, поэтому не превышайте их.

В настоящее время мы выполняем ~ 300-400K запросов в день, и описанные выше методы работают хорошо для нас.