Я новичок в Spark structured streaming, и меня неправильно поняли.
Я хочу реализовать многоконвейерную систему, каждый конвейер состоит из трех компонентов:
input -> processor -> writer.
Компонент связывается с очередью сообщений KAFKA.
Пользователь в моем случае может динамически создавать конвейеры.Пользователь может создать новый конвейер или удалить существующий конвейер, поэтому у меня есть компонент системного менеджера, который будет взимать плату за эту задачу.
Может кто-нибудь подсказать мне, с чего начать, когда я приду к созданию SystemManger?Как я могу dynamically создать свой pipeline?В какой технологии мне нужно использовать?
PS: я разработан на языке Scala
Спасибо,
MAK