Кафка для торговой платформы в реальном времени, обрабатывающей $ mns транзакций в минуту? - PullRequest
0 голосов
/ 15 июня 2019

есть люди, знакомые как с Kafka, так и с функцией бронирования сделок в реальном времени в банке?Можете ли вы порекомендовать Kafka для круглосуточной работы, высокой надежности, 10 тыс. мс в секунду, многорегиональной обработки данных с неограниченным сроком хранения (источник правды) в торговой системе, которая обрабатывает финансовые суммы в миллиарды долларов в неделю?

1 Ответ

1 голос
/ 15 июня 2019

Существует много банков и финансовых служб, которые используют Kafka, GS , например.один из них

Что вы подразумеваете под круглосуточной работой?Если вы имели в виду круглосуточную доступность, да.Кафка, как и многие другие распределенные системы, предлагает репликацию для достижения этой цели, и с некоторой осторожностью можно даже выдержать полное время простоя центра обработки данных.

Неограниченное хранение данных не настраивается, насколько мне известно, но вы можете установить log.retention.hoursк очень большому числу.Но брокеры сообщений не обязательно являются лучшим источником правды.

Хотите иметь произвольный доступ к вашим данным по ключу?Кафка - плохой выбор.У вас есть сложные запросы диапазона?Так же.Но вы все равно можете использовать Kafka в качестве основного хранилища данных и использовать кэш или индексированное хранилище KV в качестве вторичного хранилища.Так что это действительно зависит от ваших сценариев использования, шаблонов запросов, того, как вы будете воспроизводить данные по требованию и т. Д.

Если вы хотите использовать Kafka в качестве источника правды, решение должно приниматься исходя из вашей общей архитектуры, а ненаоборот.

...