Надеюсь, у вас все хорошо.
Постановка проблемы: Разработайте потоковый анализ, который вызовет предупреждение, если условие выполнено.
У меня есть данные временного ряда, которые непрерывно генерируются бытовыми приборами (лампочка, вентилятор), TV и т. Д.). Я хочу рассчитать среднее значение для текущих потоковых данных с сохранением окна продолжительностью один час.
Схема ввода: Houseid, domesticid, timestamp, energyConsumed.
Состояние оповещения: Среднее значение по токупотоковые данные с окном 1 час> стандартное отклонение всех прошлых данных.
Например, если у меня есть данные, начиная с (01/01/2019), и я в настоящий момент обрабатываю данные для (04/01/2019), а затем мое потоковое приложениеследует рассчитать SD (стандартное отклонение) для данных за последние три дня и сравнить его со средним значением текущих данных.
Примечание: 1) мы делаем это для данных большого объема, так что это проблема больших данных. Пожалуйста, предложите мне инструменты /технология для решения этой проблемы.
2) Уже реализован стек тиков (Influxdb), но из-за некоторых бизнес-ограниченийтолько я не могу его использовать.
3) если мы используем потоковую передачу искры, проблема для меня в том, как я буду рассчитывать SD предыдущих данных.