Я хочу вставлять около 500 тыс. Данных в секунду в KAFKA, а затем синхронизировать их с базой данных MySQL, которая поддерживает только 40 тыс. INSERT / UPDATE в секунду.
Итак, чтобы достичь своей цели, я хочу использовать KAFKA в качестве горячего хранилища, поскольку мне нужно как можно быстрее использовать данные, делиться ими с несколькими службами и быстро обновлять, так как это не можетбыть сделано, используя только MySQL (что я хочу использовать в качестве холодного хранилища для хранения данных как можно дольше и архивирования изменений).
Вот схема о моей необходимости: https://i.imgur.com/NyRn8zi.jpg
Есть ли идеи о том, как обрабатывать это дело?Или другой способ достижения той же цели?
Мне не нужен код, но требуются ресурсы и путь (мой основной язык - PHP).