Я новичок, и я хотел бы знать лучшее решение для обработки данных в реальном времени с использованием Python. Моя заявка выглядит следующим образом:
Данные в реальном времени обновляются в файле CSV. Я хочу получить доступ к этому CSV-файлу, используя либо панд, либо CSV-ридер, либо любым другим способом. Выполните некоторую обработку (данные поступают с шины CAN, и я хочу преобразовать шестнадцатеричное значение в десятичное число каждого сообщения (данных)), а затем выполните следующие 2 шага: a. Сохраните обработанные данные в каком-либо формате: CSV или HDF5 или в другом формате. B. Отображение данных в режиме реального времени (с использованием Matplotlib funcanimation)
- Каков наилучший метод для выполнения всех этих задач?
- Поток поможет?
- Как мне захватить данные из файла CSV: в массивном массиве, в pandas dataframe или словаре (что будет быстрее?)
Примечание: скорость входящих данных составляет приблизительно 6 кГц(одно сообщение каждые 150 мкс) - CSV-файл очень скоро становится большим по размеру (50 Мб за 10 с или около того), и для обработки такого большого файла с помощью Pandas требуется много времени, чтобы можно было строить любые графики в реальном времени.