Можно ли использовать Kafka KSQL для агрегации потоков в реальном времени в большом сценарии IoT

Question

Я пытаюсь понять, есть ли у KSQL соответствующие характеристики производительности для нашего варианта использования.

Вариант использования Учитывая, что тысячи подключенных к IoT устройств отправляют данные телеметрии, имеют службу, которая объединяет, ранжирует и сортирует эти данные по различным графикам и возвращает эти данные каждому устройству в режиме реального времени.

Соответствует ли KSQL этому варианту использования - особенно при возврате другого агрегатного набора для устройства?

Answer 1

Да.Нет. Это зависит от: -D

Это довольно широкий вопрос, на который можно ответить только широко.

KSQL построен поверх потоков Kafka, части Apache Kafka.Как распределенная система, вы можете разделять данные и масштабировать горизонтально, чтобы распараллелить обработку.Если вам нужно увеличить скорость обработки потоков данных, которые вы добавляете на большее количество серверов KSQL, и при условии, что ваша тема разделена соответствующим образом, работа будет распределена по всем дополнительным серверам.