Как сделать анализ данных в реальном времени?

Question

Я работал с R, чтобы выполнить анализ данных для создания модели прогнозирования. Теперь мне нужно построить решение для анализа данных в реальном времени. Это найти шаблоны из данных и показать предупреждение, если произойдет какое-то условие.

Like if I am receiving RSSI from the sensors. First find patterns if it has any relation with battery level and show alert if the live data shows that pattern from live RSSI data.

Я провел небольшой поиск, и в одном ответе на Quora упоминается связанный инструмент Kafka для таких действий. У меня нет опыта работы с Кафкой.

Как это можно сделать?

Answer 1

Вы могли бы начать с изучения KSQL ?Не зная вашей схемы, вот наивный запрос к теоретической теме Кафки с живыми данными RSSI:

CREATE STREAM rssi_data 
    (device_id VARCHAR,
     battery_level INT,
     SIGNAL FLOAT)
 WITH (TOPIC='rssi_data', VALUE_FORMAT='json', KEY='device_id');

, а затем запрос к ней:

CREATE STREAM low_battery_devices AS SELECT * FROM rssi_data WHERE battery_level < 20;

Это создаст новую тему Кафки под названием low_bettery_devices, который будет содержать события для устройств, батарея которых ниже.Затем вы, конечно, можете использовать эту тему с другим запросом KSQL, или программой R, или какой-либо другой нисходящей Kafka-совместимой системой.