где хранятся данные обучения, вычисленные параметры активации и параметры модели во время обучения нейронной сети?

Question

Я много искал, но не смог найти точного ответа.На некоторых веб-сайтах говорится, что параметры модели и данные обучения хранятся на оперативной памяти и выбираются по мере необходимости, но не замедлит ли это процесс обучения.Кроме того, если параметры должны храниться в графическом процессоре, почему обучение модели потребляет всю мою память графического процессора?Спасибо.

Answer 1

Да, они хранятся в ОЗУ системы или графического процессора (где еще они будут храниться?).

Исключением могут быть данные обучения, если они не помещаются в ОЗУ, то используется пакетное обучение, и одновременно в ОЗУ сохраняется только часть данных обучения (один или несколько пакетов).