SQS и Кафка одинаковы?

Question

Кафка и SQS одинаковы? Я вижу, что оба являются системами очередей сообщений и основаны на событиях. Служат ли они одной и той же цели? Если нет, чем они отличаются?

Answer 1

Нет, это не так. Kafka - это платформа потоковой передачи событий, которая используется для обмена сообщениями, а также для обработки потоков, интеграции данных и сохранения данных.

Этот технический документ помогает объяснить некоторые различия.

Отказ от ответственности: я работаю на Confluent.

Answer 2

Да, это две системы обмена сообщениями, но есть большая разница:

• Kafka

Kafka - довольно масштабируемая система, которая подходит для высоких рабочих нагрузок. когда вы хотите отправлять сообщения партиями (чтобы обеспечить хорошую пропускную способность).
Тема Kafka состоит из некоторого количества разделов, которые могут считываться полностью параллельными различными потребителями в одной группе потребителей и которые дают нам очень хорошую производительность.
Например, если вам нужно построить высоконагруженную потоковую систему,Kafka действительно подходит для этого.

• SQS

SQS - это управляемая служба Amazon (поэтому вам не нужно самостоятельно поддерживать инфраструктуру).
SQS лучше подходит для событий, когда вам нужно перехватить какое-то сообщение (событие) каким-либо клиентом, и тогда это сообщение будет автоматически выведено из очереди.
Что касается моего опыта, SQS не так быстр, как Кафка, и не 'Он не подходит для высокой рабочей нагрузки, он гораздо больше подходит для событий, когда количество событий в секунду не так много.
Например, если вы хотите отреагировать на загрузку какого-либо файла S3 (чтобы начать обработку этого файла), SQS очень хорош.