Распределенный исходный код тензорного потока

Question

Я хотел проверить исходный код функции распределенного обучения тензорного потока и его общую структуру.Отношения Worker-PS и т. Д. Однако я теряюсь в хранилище тензорного потока.Может ли кто-нибудь провести меня через репозиторий и указать исходный код, который я ищу?

Answer 1

К сожалению, не весь код тензорного потока (особенно часть, связанная с распределенными вычислениями) имеет открытый исходный код.Цитируя Аурелиана Жерона из практического машинного обучения с Scikit-Learn и TensorFlow :

Техническая документация TensorFlow представляет дружественный динамический алгоритм россыпей, который автоматическимагически распределяет операции по всем доступным устройствам, принимая во внимание такие вещи, как измеренное время вычислений в предыдущих прогонах графика, оценки размера входных и выходных тензоров для каждой операции, объем ОЗУ, доступный в каждом устройстве, задержка связи припередача данных в устройства и из него, подсказки и ограничения от пользователя и многое другое.К сожалению, этот сложный алгоритм является внутренним для Google;он не был выпущен в версии с открытым исходным кодом TensorFlow.

Но вот основные точки входа TF, распределенных в публичном репо:

• Cluster в tensorflow/python/grappler/cluster.py
• Server и ClusterSpec в tensorflow/python/training/server_lib.py
• worker_service.proto в tensorflow/core/protobuf/worker_service.proto

Для глубокого погружения вам необходимо ввести собственный код C ++ в пакете tensorflow/core/distributed_runtime, например, здесь Реализация сервера gRPC .