Кафка против StreamSets - PullRequest
Новая
       18

Кафка против StreamSets

4 голосов
/ 02 июня 2019

Я читал статьи, связанные с Kafka и StreamSets, и мое понимание было

  1. Кафка выступает посредником между системой Продюсера и подписчиком. Производитель проталкивает данные в кластер Kafka, подписчик вытягивает данные из Kafka

  2. StreamsSets - это технология для перемещения данных из одного источника в другой по конвейеру

Теперь ниже приведены мои вопросы, пожалуйста, помогите уточнить

  1. В чем принципиальная разница между Kafka и StreamSets? Это Кафка не перемещает данные, а StreamSets перемещает данные?

  2. Если Кафка не перемещает данные, для чего используется Кафка? Если данные перемещаются как решения ETL, чем они отличаются от служб SSIS, Informatica и т. Д.?

  3. Чем StreamSets отличается от SSIS, Informatica и т. Д.

1 Ответ

4 голосов
/ 02 июня 2019

StreamSets - это графический инструмент, который содержит компоненты, которые позволяют перемещать данные, в число которых входят как производители, так и потребители Kafka, но вы не обязаны их использовать.

Они дополняют друг друга и используютКафка, вы можете разрешить обратное давление в потоковых системах или сделать так, чтобы производители / потребители не StreamSets взаимодействовали с другими темами Кафки.Нет, Kafka не перемещает данные (кроме внутренней репликации), как клиенты, которые взаимодействуют с брокерами.

Я не использовал Informatica или SSIS, но я уверен, что если вы связались с кем-то из StreamSets, они могли бы ответить, как они сравнивают

...