Я думаю, что это может быть действительно забавный игрушечный проект (если это возможно), чтобы попытаться создать модель учебного кластера TensorFlow из Raspberry Pis (особенно потому, что rpis становится все лучше и лучше).
У меня естьнашел несколько различных ресурсов, описывающих, как обучить модель tf на кластере с несколькими рабочими, например, (TensorFlow):
Я уверен, что это может быть не самый эффективный способ обучения модели, но я подумал, что это может быть весело, а также даватьУ меня есть некоторый опыт работы с кластером. Имея это в виду, вот мои вопросы:
A. Как вы думаете, это было бы вообще возможно (даже если это не особенно быстро)?
B. Есть ли у вас какие-либо предложения о том, что можно попробовать, что следует избегать или какие ресурсы можно проверить?
С. Эта проблема лучше подходит для TensorFlow или PyTorch? или нет?
D. Если бы я хотел внедрить действительно в сорняки с этим проектом, думаете ли вы, что я мог бы создать простую версию самостоятельно? Если я могу создать простую архитектуру нейронной сети, как я могу комбинировать градиенты, которые я вычисляю на каждой отдельной машине?
Спасибо за вашу помощь!