Python: Как пересчитать поступающий поток данных на скользящей основе - PullRequest
0 голосов
/ 09 февраля 2020

Мы создаем приложение, которое построчно считывает данные временного ряда (например, скорость транспортного средства) из большой базы данных с миллионами строк. Данные могут выглядеть следующим образом:

54.2
55.3
55.4
...
77.2
77.1
77.5

Поток будет начинаться с чтения 54.2, затем 55.3, et c. Читатель должен сначала взять первые 200 выборок, как равные необработанным данным 1: 1. Когда добавляется больше выборок, читатель должен начать повторную выборку данных, чтобы создать версию исходных данных с пониженной выборкой, чтобы гарантировать, что мы останемся только с 200 повторными выборками наблюдений

Цель состоит в том, чтобы построить данные в Да sh от Plot.ly - используя только соответствующий объем данных для создания графика. Необходимость повторной выборки состоит в том, чтобы избежать проблем с оперативной памятью, а также обеспечить, чтобы мы не передавали ненужные суммы из серверной части в интерфейс клиентского интерфейса.

Мы будем признательны за любые предложения для библиотек Python это может помочь с этим типом повторной выборки.

...