• 1000 или (2) пакет 4x8, в котором каждый GPU имеет 8 пакетов
Я думал, что это второй случай. Пожалуйста, поправьте меня, если я ошибаюсь. Если это второй случай, как рассчитывается градиент для графических процессоров? Просто средним? Означает ли это, что алгоритм и точность 4 графических процессоров с batch_size = 8 равны одному графическому процессору с batch_size = 32? Конечно, время тренировки будет другим.
Спасибо за вашу помощь.