Работа с захватом изменений данных в InfluxDB-Python?

Question

Я программист ML, и я строю высокочастотную торговую модель.Когда я нахожусь в производстве, мне нужно собирать данные непосредственно с рынка.Я использую базу данных InfxDB, то есть базу данных временных рядов (TSDB), но я не знаю, как собирать данные в режиме реального времени.Я знаю, что существует шаблон проектирования, который мы, вероятно, можем использовать, который называется Change Data Capture (CDC) .Можем ли мы работать с CDC в InfluxDB-Python ?Является ли лучшим решением то, что InfluxDB работает с Дебезиум или в одиночку?

Answer 1

Для захвата каналов данных в реальном времени я бы прибегнул к клиентам веб-сокетов, таким как https://pypi.org/project/websocket-client, и / или клиент-толкатель (https://pusher.com/), если источник данных предоставляет подходящий канал данных. Если нетМне нужно было бы создать его самостоятельно, используя их REST API.

Теперь можно использовать компонент CDC на основе Python между источником данных и InfluxDB в качестве целевой базы данных.