Могу ли я использовать hadoop для обучения нейтральной сети?

Question

Я хочу обучить нейронную сеть с помощью Hadoop. Мы знаем, что при обучении нейронной сети веса каждого нейрона меняются на каждой итерации, и каждая итерация зависит от предыдущей. Я новичок в Hadoop и не совсем знаком с функциями, которые он предоставляет. Можно ли связать итерацию с помощью метода addDependingJob() с выделением зависимостей? Или есть другие приемы, которые можно использовать для реализации NN с помощью Hadoop.

Любой совет будет высоко оценен.

Спасибо и наилучшими пожеланиями.

Answer 1

Вы можете написать это самостоятельно. Если вы знаете, как написать Bacvk распространения в одноядерный с нуля. Его можно легко перенести на подход Mapreduce. Кэш HDFS должен хранить текущие веса нейронов, и каждое задание карты должно оценивать их обновление после обучения, а затем уменьшать, суммировать все эти обновления и помещать их в кэширование.