Темы Кафки - мне их больше или меньше?

Question

Мы новички в Кафке, поэтому я ищу руководство высокого уровня. У нас есть данные для одной сущности (мы можем назвать ее «Порядком»), которая, по сути, является множеством разных сущностей (одну можно назвать «Виджетом», а одну - «Гизмо», но существует около 20 разных типов сущностей). .

Очевидно, есть смысл думать о Заказах как об одной теме, потому что все части связаны с одним заказом. Но с точки зрения дизайна, имеет ли смысл для них быть отдельными темами (Заказы, Виджеты, Gizmos и т. Д.)?

Не существует прямой корреляции между виджетами и Gizmos - выгода от их хранения была бы такой, как порядок обработки и т. Д. И предложения или полезные ресурсы для чтения были бы очень полезны. Спасибо!

Answer 1

Я бы рекомендовал изначально записать событие как одно атомарное сообщение, а не разбивать его на несколько сообщений в нескольких темах. Лучше всего записывать события именно в том виде, в котором вы их получили, в максимально сырой форме. Вы всегда можете разделить составное событие позже, используя потоковый процессор, но гораздо сложнее восстановить исходное событие, если вы разделите его преждевременно. Более того, вы можете присвоить начальному событию уникальный идентификатор (например, UUID); таким образом позже, когда вы разделите исходное событие на одно событие для каждой участвующей сущности, вы можете перенести этот идентификатор вперед, чтобы проследить происхождение каждого события.