Редактор тестовых запросов Azure Stream Analytics не соответствует конечному выводу в ComosDB и Blob - PullRequest
Новая
       10

Редактор тестовых запросов Azure Stream Analytics не соответствует конечному выводу в ComosDB и Blob

0 голосов
/ 22 октября 2018

Я создал задание Stream Analytics и с помощью портала подтвердил, что запрос выдает правильные результаты.Проблема в том, что когда я запускаю задание Stream Analytics, выходные данные, отправленные в CosmosDB, представляют собой совершенно другой и неожиданный результат.

Это базовый запрос, он использует некоторые функции агрегирования с SlidingWindow: 

SELECT src.DeviceID, System.Timestamp as Time, 
AVG(src.Value) as [AvgValue],
MIN(src.Value) as [MinValue],
MAX(src.Value) as [MaxValue],
COUNT(src.Value) as [SampleCount]
INTO [AvgOutputToCosmosDB]
FROM
[blob-stream-dev-testsample] as src TIMESTAMP BY src.DateTimeEndUTC
GROUP BY SlidingWindow(hour,1), src.DeviceID

Я проверил вышеупомянутое чередование с использованием операторов WITH и записи в хранилище CosmosDB и Blob, но оба они имеют одинаковый неверный вывод.

Я ожидаю 576 средних журналов для каждого идентификатора устройства.Я получаю один средний журнал для идентификатора устройства, который использует 576 журналов (SampleCount) для вычисления среднего.

Как уже говорилось, при использовании портала Azure для тестирования запроса это работает.576 скользящих средних часов для каждого устройства.У меня есть:

  1. Проверен вывод на портале с тестовым приложением C #, вычисляющим скользящее среднее, все хорошо.
  2. Настроил коллекцию CosmosDB на неограниченное количество и использовал раздел на deviceid,Я не думаю, что это CosmosDB, потому что это происходит в хранилище BLOB-объектов.

В своих тестах я вручную загружал файл JSON, а также считывал файл JSON из хранилища BLOB-объектов - снова портал работал нормально.

Кто-нибудь видел это раньше?Мне интересно, есть ли какая-то проблема с преобразованием DateTime в локали, используемой заданием Stream Analytics?

UPDATE

Я только что протестировал тот же запрос, используя событиеТема хаба является входным потоком и работает как на портале, так и при выполнении задания SA.Должна быть какая-то проблема с сериализацией даты и времени, когда задание SA считывает файл JSON из хранилища BLOB-объектов.

1 Ответ

0 голосов
/ 03 ноября 2018

Одна разница между BLOB-объектами и другими входными данными заключается в том, как мы получаем время прибытия: для BLOB-объектов время чтения читается из BlobLastModifiedUtcTime .Это означает, что если разница между временем приложения (src.DateTimeEndUTC) и временем прибытия (BlobLastModifiedUtcTime) больше, чем политика позднего прибытия, она будет скорректирована, и все ваши события будут в одном временном окне.Вы можете найти больше информации, связанной с этим параметром здесь .

Я бы посоветовал проверить текущую политику позднего прибытия и убедиться, что события приходят в большой двоичный объект до окончания этой политики.

Кстати, вы транслируете живые данные или перерабатываете исторические данные?

Дайте мне знать, если у вас возникнут дополнительные вопросы, будем рады помочь.

...