Есть ли способ увеличить количество единиц в плотном слое и при этом иметь возможность загружать ранее сохраненные веса, которые использовали меньшее количество единиц?

Question

Я начинаю учиться строить нейронные сети. Вот что я сделал:

Я провел несколько эпох с единицами измерения в своем плотном слое на 512.

Затем я сохранил веса с наилучшей точностью.

Затем я увеличил количество единиц в моем плотном слое до 1024 и попытался перезагрузить мои веса с максимальной точностью, но со старыми весами 512.

Я получил ошибку. Я понимаю, почему я получил ошибку, но мне интересно, есть ли способ увеличить количество единиц и при этом иметь возможность использовать мои сохраненные веса или мне нужно заново переучивать мою модель с самого начала?

Answer 1

Теоретически вы можете добавить больше юнитов и инициализировать их случайным образом, но это сделает бесполезным исходное обучение. Более распространенный метод повышения сложности модели при одновременном использовании более раннего обучения заключается в добавлении большего количества слоев и возобновлении обучения.