Интересно, является ли это нормальным поведением MirroredStrategy или нет, для данной модели я могу обучить его с размером пакета 128, но не 256 на одном GPU. Когда я добавляю больше графических процессоров и использую MirroredStrategy, я могу сохранить это число только как глобальный размер пакета, что означает:
- 1 gpu: размер пакета 128
- 2 gpus : размер партии 64
- 4 gpus: размер партии 32
- 8 gpus: размер партии 16
Я ожидал, что смогу использовать глобальный размер партии, равный 128 * # gpus, вместо этого число установлено на 128.
Это нормально?
Я использую код, аналогичный этой части документации.