Я хотел бы знать, существуют ли на рынке какие-либо технологии или методы для обработки наборов данных сценария "что, если".Если вдаваться в подробности, у меня есть набор данных размером около 40 ГБ, и будут некоторые решатели, работающие с этим набором данных и дающие результаты.Более поздние отчеты будут создаваться с использованием этих результатов решателя.
Пользователи будут создавать копии этих базовых данных и применять свои изменения к данным, а затем запускать решатели и проверять результаты.Если пользователи создадут 10 копий, это будет 400 ГБ.В настоящее время все хранится в памяти, чтобы сделать решатели и отчеты быстрее.Что означает, что мне нужно почти 500 ГБ оперативной памяти.Чтобы избежать этого, я ищу рекомендации о том, как справиться с этим, не сохраняя все в оперативной памяти.
Такие технологии, как Apache Hadoop, Spark, Cassandra или еще, помогут решить эту проблему?