Я смотрел это видео: Inside TensorFlow: tf.distribute.Strategy и понимаю, что tf.distribute.Strategy был разработан таким образом, что он поддерживает как репликацию в графике , так и межграфическая репликация . (Я собираю обзор всей терминологии и концепций здесь . Может быть, я просто запутываю.)
Из всех примеров кода и существующих реализаций стратегии ( здесь или здесь ), похоже, что здесь всегда используется репликация в графике ? (Или на самом деле всегда используется репликация между графами ? Мне это не совсем понятно.) Если да, то существует ли стратегия, которая также работает для репликации между графами ?
Возможно, терминология также изменилась (теперь с TF 2), и мы больше не будем говорить о графиках явно (а tf.function вместо этого?). Но тогда это был бы тот же вопрос, только перефразированный с другой терминологией. (Не уверен, как это точно перефразировать или чем на самом деле он будет отличаться. Репликация между графами означает, что отдельный / независимый tf.function будет создан для каждого рабочего / для каждой реплики?)
В API распространения TF (например, здесь ) также говорится о контексте перекрестной реплики против контексте реплики . Я не совсем уверен, ортогонален ли это репликации между графами против репликации внутри графа , или просто другой терминологии для того же самого.