tf.distribute.experimentalCentralStorageStrategy указывает, что переменные не отражаются, вместо этого они помещаются в ЦП, а операции реплицируются во все графические процессоры.
Если у меня действительно большая модель это не подходит ни к одному графическому процессору, может ли это быть решением, поскольку переменные хранятся в CPU? Я знаю, что будут сетевые накладные расходы, и это нормально.
В этом Официальном учебном пособии по TF на Youtube говорится, что его можно использовать для обработки "больших вложений", которые не подходят для одного GPU. Может ли это иметь место и для больших переменных и активаций?
В официальной документации говорится, что «если существует только один графический процессор, все переменные и операции будут помещены в этот графический процессор». Если бы я использовал только 1 графический процессор, кажется, что CentralStorageStrategy был бы автоматически отключен, хотя хранение больших переменных (например, встраивания) в ЦП вместо ГП могло бы быть очень полезным, так как не могло бы существовать ГП, у которого было бы достаточно памяти для размещения на нем. устройство. Это упущение дизайна или предполагаемое поведение?