Лучший способ временного сбора данных

Question

Мне нужно создать веб-сервис, который получает около 1 млн запросов в 3 дня. Мне нужно сохранять данные каждого запроса в устаревшей БД. Одним из требований является создание какой-либо агрегации и отправка данных большими частями, поэтому соединения с БД будут ограничены. Есть два варианта. Я могу сохранить данные в файл или использовать существующий сервис hadoop. Я думал о H2 db с файловым режимом, так как я не знаком с hadoop. Можете ли вы предложить какое решение мне использовать и почему?

Привет

Answer 1

я бы не использовал плоские файлы.Почему бы не использовать Kafka или систему JMS?Не уверен, что такое агрегация, но если это просто подсчет, а не какой-либо поиск какого-либо внешнего сервива или ресурса, можно рассмотреть возможность сделать это по мере получения результатов и сохранения данных в СУБД через единичный элемент (на узел / JVM).

Вам необходимо предоставить больше данных и спросить их у https://softwareengineering.stackexchange.com/