Мониторинг хранилища озера данных Azure - PullRequest
Новая
       65

Мониторинг хранилища озера данных Azure

0 голосов
/ 14 мая 2018

Я храню данные в XML-файлах в Data Lake Store в каждой папке, как будто одна папка представляет собой одну исходную систему.

В конце каждого дня я хотел бы запустить какого-нибудь ребенка из аналитики журналов, чтобы выяснить,сколько файлов New XML хранится в хранилище озера данных в каждой папке?Я включил Диагностические журналы, а также добавил OMS Log Analytics Suite.

Я хотел бы знать, каков наилучший способ достижения этого отчета?

1 Ответ

0 голосов
/ 29 мая 2018

Можно сделать несколько сводных отчетов (и даже создать предупреждение / уведомление). Используя Log Analytics, вы можете создать запрос, который ищет любые экземпляры, когда файл записывается в хранилище озера данных Azure на основе общего корневого пути или имени файла: 

AzureDiagnostics
| where ( ResourceProvider == "MICROSOFT.DATALAKESTORE" )
| where ( OperationName == "create" )
| where ( Path_s contains "/webhdfs/v1/##YOUR PATH##")

В качестве альтернативы последняя строка также может быть: 

| where ( Path_s contains ".xml")

... или их комбинация.

Затем вы можете использовать этот запрос для создания оповещения, которое будет уведомлять вас в течение заданного интервала (например, каждые 24 часа) о количестве созданных файлов.

В зависимости от того, что вам нужно, вы можете отформатировать запрос следующим образом:

  • Если вы используете общее именование файлов, вы можете найти совпадение, в котором путь содержит указанное именование файлов.
  • Если вы используете общий путь, вы можете найти совпадение, в котором патч соответствует общему пути.

  • Если вы хотите получать уведомления обо всех экземплярах (не только о конкретных), вы можете использовать агрегирующий запрос и предупреждение при достижении / превышении порога (т. Е. 1 или более событий): 

    AzureDiagnostics
| where ( ResourceProvider == "MICROSOFT.DATALAKESTORE" )
| where ( OperationName == "create" )
| where ( Path_s contains ".xml")
| summarize AggregatedValue = count(OperationName) by bin(TimeGenerated, 24h), OperationName

С помощью запроса вы можете создать предупреждение, выполнив следующие действия в этом сообщении: https://azure.microsoft.com/en-gb/blog/control-azure-data-lake-costs-using-log-analytics-to-create-service-alerts/.

Дайте нам знать, если у вас есть дополнительные вопросы или вам нужна дополнительная информация.

...