Замедленный запрос Azure SQL при таргетинге на индекс - PullRequest
Новая
       39

Замедленный запрос Azure SQL при таргетинге на индекс

1 голос
/ 07 марта 2019

У меня относительно большая БД, используемая для данных IoT, около 60 миллионов записей.Вставки выполняются очень часто в BULK Inserts из Stream Analytics.

Это моя схема таблицы: 

CREATE TABLE [dbo].[NVEControllerReadings](
[DeviceUniqueIdentifier] [nvarchar](100) NOT NULL,
[NVEControllerTimestamp] [datetimeoffset](7) NOT NULL,
[ProcessedInAzureUtc] [datetimeoffset](7) NOT NULL,
[ParameterTypeId] [int] NULL,
[InstanceId] [int] NULL,
[ParameterNumberId] [int] NOT NULL,
[ParameterValue] [float] NULL,
[ParameterText] [nvarchar](255) NULL)

При выполнении запросов мы всегда ищем последние записи для устройства,поэтому у меня есть следующий кластеризованный индекс: 

CREATE CLUSTERED INDEX [IX_NVEControllerReadings] ON [dbo].[NVEControllerReadings](
[DeviceUniqueIdentifier] ASC,
[NVEControllerTimestamp] DESC)WITH (STATISTICS_NORECOMPUTE = OFF, DROP_EXISTING = OFF, ONLINE = OFF) ON [PRIMARY]

У меня также есть некластеризованный индекс для покрытия индексов, нацеленных на ParameterTypeId, ParameterNumberId и InstanceId. 

CREATE NONCLUSTERED INDEX [IX_ParameterTypeId_ParameterNumberId_InstanceId] ON [dbo].[NVEControllerReadings](
[ParameterTypeId] ASC,
[ParameterNumberId] ASC,
[InstanceId] ASC) INCLUDE (     [ParameterValue]) WITH (STATISTICS_NORECOMPUTE = OFF, DROP_EXISTING = OFF, ONLINE = OFF) ON [PRIMARY]

Параметр ParameterValue включен какключевой столбец, потому что это конечный результат запроса, который мне интересен.

Однако при выполнении запросов, направленных на мой некластеризованный индекс, может потребоваться 3-5 минут, чтобы вернуть один результат,чего я не понимаю.В соответствии с моим Планом исполнения, некластеризованный индекс используется по назначению для поиска по индексу.

Вот ссылка на план выполнения: https://www.brentozar.com/pastetheplan/?id=r1NAwrRUN (для выполнения запроса потребовалось 03:32).

Я пытался перестроить свои индексы, чтобы добиться более низкой степени фрагментации и обновить статистику, но пока безуспешно.

Может кто-нибудь указать мне направление моей проблемы?

Заранее спасибо.

Ответы [ 2 ]

2 голосов
/ 07 марта 2019

Вы по-прежнему выбираете каждую строку, а затем сортируете ее, но она возвращает только верхнюю часть 1. Попробуйте взять ее с другого направления, используйте функцию агрегирования, чтобы ограничить выбор одной строкой, что-то вроде строк: 

SELECT [ParameterValue]
FROM [dbo].[NVEControllerReadings] n1
  join (select max(NVEControllerTimestamp) as Mostrecent, DeviceUniqueIdentifier
        from [dbo].[NVEControllerReadings] 
        WHERE DeviceUniqueIdentifier = '04EFB80706A7'
          AND ParameterTypeId = 19 AND ParameterNumberId = 24
          AND InstanceId = 1
        Group by DeviceUniqueIdentifier) n2 on n2.DeviceUniqueIdentifier = n1.DeviceUniqueIdentifier
     and n1.timestamp = n2.Mostrecent

По моему опыту, Azure может сильно снизить производительность, и вам часто приходится пробовать разные варианты в запросах.Это связано с тем, что внешняя лазурь sql сильно отличается от локального экземпляра SQL-сервера.Например, ваше решение с первичным ключом, вероятно, не работает, потому что оно не хранит данные на страницах, упорядоченных в порядке кластеризации на физическом диске.В любом случае, надеюсь, это поможет!

0 голосов
/ 07 марта 2019

Для этого запроса: 

SELECT TOP (1) [ParameterValue]
FROM [dbo].[NVEControllerReadings]
WHERE DeviceUniqueIdentifier = '04EFB80706A7' AND
      ParameterTypeId = 19 AND
      ParameterNumberId = 24 AND
      InstanceId = 1
ORDER BY NVEControllerTimestamp desc;

Оптимальный индекс на (DeviceUniqueIdentifier, ParameterTypeId, ParameterNumberId, InstanceId, NVEControllerTimestamp desc). Я бы попробовал это первым.

...