Я хочу собирать данные с нескольких устройств iot в виде структурированной потоковой передачи искр, отправляя каждую секунду, и каким-то образом комбинировать временные метки устройств, чтобы применить к ним алгоритм ML. Каждое из устройств может отправлять такие данные, как:
{
deviceId : "deviceId1",
value: 123,
timestamp: 353215215
}
Итак, у меня будет эта очередь сообщений. Я хочу каким-то образом соединить их в фрейме данных, чтобы у меня была каждая строка в фрейме данных, например:
deviceId1 | deviceId2 | timestamp
123 321 21421421
Будет только один структурированный поток (один неограниченный фрейм данных), как я думаю. И внутри этого фрейма данных я преобразую его, чтобы объединить сообщения устройства в одну строку.
Намерение состоит в том, чтобы создать многомерную точку из этой одной строки и передать ее алгоритму ML. Я хочу понять передовой опыт или методы того, как справляться с подобными ситуациями. Один из способов, который я вижу, - это объединение строк на основе отметки времени. Но это означает, что у нас не может быть небольшой разницы в отметке времени от устройств.