Что будет лучшим выбором для размера партии для одного устройства (используя Mirrored Strategy в TF)?

Question

Вопрос: Предположим, у вас есть 4 графических процессора (по 2 ГБ памяти каждый) для обучения модели глубокого обучения. В вашем наборе данных имеется 1000 точек данных, занимающих около 10 ГБ. Что будет лучшим выбором для размера пакета для одного устройства (с использованием зеркальной стратегии в TF)?

Может ли кто-нибудь помочь мне решить эту задачу? Заранее спасибо.

Answer 1

Каждый графический процессор имеет 2 ГБ памяти и 4 графических процессора, что означает, что у вас есть 8 ГБ памяти для работы. Теперь вы не можете разделить 10 ГБ данных на 8 ГБ за один раз, поэтому вы разбили 10 ГБ на две половины и получили общий размер пакета 500 точек данных (или, скорее, 512, чтобы быть ближе к степени 2)

Теперь вы распределяете эти 500 точек данных по 4 графическим процессорам, получая размер пакета ~ 128 точек данных на устройство.

Таким образом, общий размер пакета будет 512 точек данных, а размер пакета для каждого графического процессора составит 128.