Использование Apache Kafka - отправка данных в хранилище

Question

Я читал о множестве дизайнерских историй, где данные попадают в хранилище (как кислотные, так и не sql) через Kafka. Не уверен, что я глубоко понимаю, в каком случае это решает. Почему не напрямую? С другой стороны, я никогда не видел других способов использования Кафки. Являются ли другие крупные случаи?

С уважением,

Answer 1

Короче говоря: сцепление. Если вы пишете напрямую в свое хранилище из исходной системы, вы соединяете их вместе. Если вы хотите изменить один, вы напрямую влияете на другой. Kafka позволяет вам отделить это и использовать данные более эффективно. Данные в Kafka могут использоваться несколькими независимыми потребителями, поэтому, если вы хотите записать их в несколько целей, вы все равно извлекаете их только из исходной системы.

Этот доклад может помочь вам понять: « Использование анархии: роль Apache Kafka в современных архитектурах данных » Видео / Слайды