фреймворк параллельной обработки в Java

Question

Я новичок в этой теме.Я решил разработать инфраструктуру параллельной обработки для приложений облачной обработки данных в Java для своего проекта.фреймворк должен делить заданный последовательный код Java и обрабатывать эти субкоды в разных виртуальных машинах в облаке.платформа должна динамически распределять и освобождать ресурсы в соответствии с нагрузкой.Моя проблема в том, как разработать фреймворк.

Существуют ли библиотеки для планирования Java-кода на другой виртуальной машине в облаке?пожалуйста, сообщите мне, если что-нибудь доступно.

Answer 1

Терракотовая и Сетка - отличные решения.Те, на которые ссылается yerlikayaoglu (Hadoop и hazelcast), также превосходны в своей области, но все они 4 очень разные и зависят от варианта использования.Это для решения проблемы «карта / уменьшение»

Другой является распределение / освобождение виртуальных машин.Это зависит от вашего облачного провайдера и некоторых других вещей.Вы можете взглянуть на jClouds

Answer 2

Существуют такие решения, как Hazelcast , Hadoop и т. Д. Вы можете посмотреть эти проекты.

Answer 3

Взгляните на Hadoop , фреймворк, который позволяет в основном то же самое и поддерживает автоматическое развертывание кода в кластере.

Answer 4

Если вы хотите выполнять обработку в реальном времени, вы можете взглянуть на storm .Также Akka предоставляет хороший API для удаленных акторов для scala и java.