Как постоянно тренировать нашу предварительно обученную модель на данных в реальном времени?

Question

У меня есть несколько датчиков, которые получают данные с цементного завода и отправляют данные в AWS IoT.Затем данные проверяются на предварительно обученной модели, и модель прогнозирует качество цемента на основе некоторых параметров.Данные поступают с интервалом в одну секунду.

Поскольку данные поступают в режиме реального времени, я хочу постепенно обучать модель в реальном времени.

Кто-нибудь может подсказать, как непрерывно моделировать поезда?

Answer 1

Вы можете собрать определенное количество обучающих данных, а затем использовать .partial_fit() для обновления вашей модели.

.partial_fit() - опция инкрементного обучения, доступная в Sklearn.

Если ваши инкрементные данные не помещаются в ОЗУ, тогда стоит попробовать оболочку dask-ml для инкрементного обучения .