Какой тип инфраструктуры больших данных можно использовать для преобразования данных в миллисекундах?

Question

В моем приложении, которое имеет базу данных Postgres, которая содержит 5 таблиц, каждая имеет более 1 миллиона записей, а каждая таблица содержит более 75 столбцов. Мое приложение запрашивает данные из этих таблиц, а затем преобразует данные. преобразование в настоящее время выполняется скриптами scala. Затем эти данные служат FronEnd. Я использую микросервисную архитектуру, имеющую 3 микросервиса для этого. Но запрос и преобразование данных занимают много времени, как это занимает более 10 секунд.

Существуют ли решения или платформы больших данных, которые я могу использовать, чтобы сократить это время до миллисекунд? Может ли быть возможность связи между микросервисом и базой данных?

Answer 1

Краткий ответ: нет, если мы не говорим о 10 и 100 миллисекундах.

Длинный ответ: обычно, если вам нужно обработать 75M точек данных, преобразованных в миллисекундах, вы:

• нужно делать это в памяти, тщательно используя выбранные вами структуры данных;
• предварительно вычислять и кэшировать результаты с риском того, что некоторые (не кэшированные) запросы будут выполняться в течение 10+ секунд;
• Переоценка ваших технических требований и / или архитектуры.