Создание кластера для общих вычислений на серверах Debian - PullRequest
0 голосов
/ 24 апреля 2020

Вот моя проблема: я пытаюсь создать кластер серверов Debian, на котором я могу обучать свои ANN (язык: Python, библиотеки: theano, Tensorflow, Keras).

Итак, я хотел бы иметь главный сервер, на котором установлены библиотеки и на который мне просто нужно было бы отправить свой код и набор данных. Этот сервер затем распределит все расчеты между 3 подчиненными серверами. Я слышал о Pacemaker и Corosyn c, но все статьи, которые я прочитал, говорят о высокой доступности, а не о распределенных вычислениях. У вас есть идеи?

1 Ответ

0 голосов
/ 29 апреля 2020

Для этого случая я искал и решил использовать Apache Spark и Elephas, которые работают с Keras. На данный момент моя установка работает под python 2.7 и java 8, после того, как у меня были проблемы под java 11, из которых я не знаю источника. Другим треком может быть использование Apache Spark и dist-keras, библиотеки, разработанной CERN. Но после анализа это решение кажется мне гораздо более сложным для реализации. Будучи немного новичком, поэтому я выбираю Elephas.

...