Извлечение определенных значений из массивов в Azure Stream Analytics, а затем добавление других значений вручную - PullRequest
Новая
       102

Извлечение определенных значений из массивов в Azure Stream Analytics, а затем добавление других значений вручную

0 голосов
/ 04 марта 2020

Я настроил некоторые датчики, где я получал данные (JSON) через Event Hub для задания Stream Analytics и вплоть до Data Lake Gen2. Мне просто нужны некоторые значения из данных и я хочу добавить некоторые значения, например, Этаж, Комната, так как эти данные не включены в данные, которые я получаю от датчиков. Поскольку датчиков не так много, я подумал, что смогу добавить их вручную в потоковой аналитике. Например, случай, когда серийно равен "1234567", добавить слово "2". Здесь я столкнулся с некоторыми проблемами, потому что данные хранятся в массивах, как показано ниже.

Моя цель - разделить элементы (точки данных) в массиве для разделения событий, но при этом сохранить значения от датчика как SerialNo, DateTime, а также добавить значения как floor, room et c. Я не знаю, возможно ли это выполнить?

Это пример данных, которые я получаю в потоковой аналитике. В этом примере это просто две точки данных, но были случаи, когда до девяти точек данных. Причина в том, что датчики измеряют много разных вещей (например, температуру, влажность) и составляют свои собственные агрегации в среднем за 1 час и 24 часа. 

[
  {
    "dsType": "MIBUS",
    "timeStamp": 1583304733314,
    "dateTime": "2020-03-04T06:52:13.0000000Z",
    "serialNo": "1234567",
    "manufacturer": "Trank",
    "battLvl": 0,
    "bridgeId": "03000000",
    "dpCnt": 2,
    "datapoint": [
      {
        "type": "FLOAT",
        "name": "Temperature",
        "size": 32,
        "dataType": "BCD_DIGIT",
        "res": 0.1,
        "resUnit": "Degrees",
        "valueType": "CSV",
        "unit": "C",
        "value": 12.5,
        "scale": 1,
        "min": "-20",
        "max": "55",
        "low": " ",
        "high": " "
      },
      {
        "type": "NUMBER",
        "name": "Humidity",
        "size": 8,
        "dataType": "UINT8",
        "unit": "%",
        "res": 1,
        "resUnit": "%",
        "valueType": "CSV",
        "value": 46,
        "scale": 1,
        "min": " ",
        "max": " ",
        "low": " ",
        "high": " "
      }
    ],
    "uniqueId": "TR1234567",
    "EventProcessedUtcTime": "2020-03-04T07:50:07.7614906Z",
    "PartitionId": 0,
    "EventEnqueuedUtcTime": "2020-03-04T06:52:13.3990000Z"
  },

Таким образом, результат, который я получу из данных, показанных выше, выглядит примерно так: 

SerialNo        DateTime                     name       value       valueType       Floor       Room   
1234567   2020-03-04T06:52:13.0000000Z    Temperature   12,5          CSV             2        Bedroom
1234567   2020-03-04T06:52:13.0000000Z     Humidity      46           CSV             2        Bedroom

Я пробовал функции ass GetArrayElement, CROSS APPLY, GetRecordProperties et c. без удачи. Возможно, потому что я не применил их правильно.

Я открыт для любого предложения, чтобы понять это правильно:)

Заранее спасибо!

1 Ответ

1 голос
/ 04 марта 2020

Вы можете легко преобразовать элементы массива в отдельные события , написав запрос, например: 

SELECT i.serialNo, i.dateTime, sensorData.ArrayValue.name, 
sensorData.ArrayValue.value, sensorData.ArrayValue.valueType
FROM input i
CROSS APPLY GetArrayElements(datapoint) as sensorData

Чтобы получить значения для пола и спальни, вы также можете использовать Ввод справочных данных (SQL база данных или хранилище BLOB-объектов). А затем JOIN эти справочные данные с вводом в реальном времени, чтобы получить значения этажа и спальни на основе серийно.

...