У меня есть несколько устройств, которые периодически измеряют (например, каждую секунду) множество физических величин, таких как давление, температура, потребление энергии, ток, напряжение….
Каждое значение отправляется на сервер и сохраняется в таблице базы данных. ,Таблица содержит миллионы строк, и каждая строка содержит информацию об измерениях, такую как DeviceId - Timestamp - Value
Каждую секунду в таблицу вставляется около 1000 новых записей измерений.
Я пытаюсь ввести обработкуслой, где я могу определить сотни отчетов о состоянии на определенных устройствах, которые будут создаваться ежечасно (например, HourlyConsumpReportOfDevice1Device2), где я записываю агрегированные значения измерений устройства за последний час.
Я пытался опросить огромную таблицукаждую минуту, чтобы увидеть, есть ли уже существующие значения для Device1 и Device2 за последний час, но это приводит к плохим результатам, особенно при составлении отчетов для 20+ устройств
По сути, я ищу способ вызвать действиедля генерации отчетов, как только прошел один час И все значения уязвимых устройств доступны в огромной таблице. Из-за задержки в сети некоторые устройства могут «отправлять» значение для 16:00 в 16:01, что задерживает генерацию отчета на одну минуту.
Может кто-нибудь дать мне подсказку о том, как этого добиться иМожно ли порекомендовать некоторую литературу…
Я даже не совсем уверен, в каких областях мне следует расширять свои исследовательские усилия, например, хранилище данных, ETL ?? Любые рекомендации приветствуются
Большое спасибо заранее