Судя по тому, что я читал в разных постах и блогах, а также по моим ограниченным испытаниям, похоже, что и Tensorflow, и Keras используют столько же процессорных ядер, сколько доступно на отдельной машине. Это имеет смысл (и действительно очень приятно), но означает ли это, что Keras будет проводить распределенное обучение по нескольким ядрам? Это то, что я хочу сделать: у меня умеренная модель, но большой набор данных, и я хочу распределить изучение разных пакетов между ядрами. Я не очень разбираюсь в параллельной и распределенной обработке, но я просто предполагаю, что распределенное обучение требует некоторой дополнительной обработки данных и вычисления и агрегирования градиента поверх базовой многопоточности / многозадачности. Делает ли Keras такие вещи автоматически при использовании разных ядер одного и того же процессора на отдельной машине? Как я могу это проверить?
И если я захочу пойти дальше и использовать несколько компьютеров для распределенного обучения, то все, на что ссылаются, это https://www.tensorflow.org/deploy/distributed.
Но это немного сложно и ничего не упоминает о Керасе в частности. Есть ли другой источник, который конкретно обсуждает распределенное обучение моделей Keras через Tensorflow?