Запрашиваемая среда кластерных вычислений для высокой производительности

Question

Я хотел бы создать кластер для получения высокой производительности и использования в случае добровольных вычислений. Я нахожу некоторые добровольные вычислительные платформы, такие как BOINC L, кластер Beowulf. Я немного знаком с Apache Hadoop, кластер Spark. Некоторые из этих кластерных платформ должны будут использовать MPI и другие библиотеки параллельной обработки. Тем не менее, у меня нет опыта параллельного программирования. Более того, я не мог позволить себе писать параллельные программы для кластера, потому что я хотел бы выполнять сетевое моделирование, обработку изображений, тестирование программирования и т. Д. На моем кластере. Поэтому я нахожу кластерную среду, которая может запускать любые приложения, распределенные по узлам. Я обнаружил, что инфраструктура кластера openMosix будет соответствовать моим требованиям, но я обнаружил, что он остановил разработку своего кластера. Итак, я хотел бы с уважением попросить несколько предложений от старших руководителей, чтобы указать мне, какой тип кластерной инфраструктуры подходит для улучшения вычислительной мощности в случае выполнения любых приложений. Большое вам спасибо.

Answer 1

(Раскрытие информации: я один из разработчиков BOINC, я также управляю несколькими проектами BOINC)

Пока ваши приложения распараллеливаются (например, вы можете разделить набор данных или изменить параметры командной строки приложения, чтобы разделить пространство поиска), вам доступны несколько простых опций. Если ваши узлы работают под управлением Linux, и вы можете использовать для них SSH, могут подойти простые инструменты, такие как GNU Parallel .

BOINC в целом больше ориентирован на работу с компьютерами, объединяя разнородные ресурсы. Он имеет некоторую кривую обучения и много внимания уделяет безопасности (например, весь код, работающий на платформе, должен быть подписан, что усложняет развертывание «любого» приложения). Если вы ищете реальное использование в стиле кластера, где вы будете запускать десятки различных приложений, BOINC может не подойти вам (обратите внимание, что существуют способы отправки двоичных файлов приложений как часть работы, но это не тривиально).

Если вы решите попробовать BOINC, существует несколько устаревшая Виртуальная машина с предустановленным сервером BOINC , или просто получите последнюю версию кода от Github .