Предположим, я хочу разработать и обучить большую сквозную модель глубокого обучения с использованием Tensorflow (1.15, по старым причинам). Объекты являются сложными, с множеством типов признаков, которые можно извлечь: вектор чисел c признаков фиксированной длины, последовательности, неупорядоченные множества и т. Д. c. Таким образом, модель будет включать много подмодулей для работы с различными типами функций.
У меня есть доступ к серверу с несколькими графическими процессорами, поэтому я хочу распределить модель по ним. Каков наилучший способ сделать это? До сих пор я думал о размещении подсистем на отдельных графических процессорах, но здесь возникают некоторые вопросы:
- Насколько дорогой будет передача результатов вычислений между графическими процессорами? Tensorflow делает это автоматически, верно?
- Насколько дорогостоящим будет вычисление градиента и спуск, учитывая, что переменные размещены на разных графических процессорах? Будут ли градиенты также рассчитываться на тех же графических процессорах, что и соответствующие им переменные?