Я новичок в Kafka и потоках архитектуры данных, и у меня есть вопрос относительно дизайна тем и топологии.
У меня действительно стандартный поток.
- Входящий поток измерений данных -> первая тема T1
- Очистка данных (нулевые значения, высокая /низкий уровень, преобразования, форматирование и т. д.) -> вторая тема T2
- обработка данных -> третья тема T3
- устойчивость данных -> четвертая тема T4
- приемник данных --> в TS-DB (например, InfluxDB)
Я хочу иметь возможность динамически вставлять пользовательские потоковые процессоры между этими темами.
Например, добавить еще один параметр в сообщение после темы T2 и до T3.Поэтому я хотел бы создать тему T2.5 и перенаправить T2 для отправки на T2.5 и T2.5 на T3.
Один из способов сделать это - обновить разъемы T2 и T3 и вставить еще один.через Connect REST API.Но для этого я должен был бы создать собственный соединитель для каждого нового требования / случая, который у меня есть.
Есть ли другой способ сделать это?
Я бы также принял ответ, что моя топология / архитектура не самая оптимальная для тем kafka, но, пожалуйста, приведите пример альтернативы, котораяВы предлагаете