То, что я читал на страницах, связанных с Tensorflow, о параллелизме данных: руководитель синхронизирует обновление параметров, а серверы параметров сохраняют параметры, но я не совсем понимаю, кто разделяет данные между разными работниками.Есть ли только одна копия на главном сервере, и она будет разделять данные и отправлять пакеты работникам, или у каждого из них есть локальная копия данных, и они сами разбивают и пропускают некоторые данные?