Для целей сравнительного анализа мне необходимо смоделировать онлайн-поток данных (данные временного ряда), который будет использоваться различными базами данных.
В этом конкретном случае использования данные временного ряда должны записываться на очень высоких частотах.
Я бы обработал этот поток с помощью Apache Kafka.
Поток по существу состоит из множества вещественных чисел с их отметкой времени и текстовая метка .
Я видел много примеров производителей Kafka, но никто не подошел к моему примеру использования действительно хорошо: как я могу использовать Kafka для того, чтобы ОБРАЩАТЬСЯ и ОБРАБАТЫВАТЬ такой поток данных ??
РЕДАКТИРОВАТЬ:
Используя Python API, в настоящее время я могу напрямую отправлять данные в различные базы данных.Оставшаяся проблема касается скорости: моя целевая частота близка к 15 кГц.
Я едва могу достичь 2 кГц, используя тот же (многопоточный) скрипт Python.
Есть предложения?