нормализация партии пирога в распределенном поезде

Question

Интересно, как распределенная норма обработки дескриптора Pytorch, когда я добавлю уровень пакетной нормы, будет ли механизм Pytorch использовать тот же вызов allreduce для синхронизации перекрестного узла данных?или пакетная норма происходит только на локальном узле.

Answer 1

Аналогично DataParallel (установите флажок Warning ).Он будет вычислять норму отдельно для каждого узла (или, точнее, для каждого графического процессора).Он также не будет синхронизировать скользящие оценки нормы, но в конце сохранит значения одного из графических процессоров.Таким образом, предполагая, что примеры распределены по кластеру случайным образом, ваш BatchNorm будет работать примерно так, как ожидалось, за исключением того, что его оценки коэффициентов нормализации будут иметь более высокую дисперсию из-за меньших эффективных размеров выборки.