Когда нужно сбросить алгоритм гипотезы лотерейного билета, чтобы найти инициализацию?

Question

Согласно Гипотезе о лотерейных билетах , существует два типа стратегий обрезки: обрезка одним выстрелом и итеративная обрезка. Оба объяснены на странице 2. Найти инициализацию для однократного сокращения легко, потому что мы обучаем сеть для j итераций и затем возвращаем веса к инициализации, используя полученную маску. Что я не понимаю, так это итеративное сокращение. На странице 2 написано:

мы сосредоточены на итеративном сокращении, которое многократно обучает, сокращает и сбрасывает сеть за n циклов;

Что означает resets the network over n rounds? Означает ли это, что в каждом раунде сокращения мы сбрасываем веса сети на инициализацию, используя полученную маску для текущего уровня сокращения? Или это означает, что мы обучаем и сокращаем сеть итеративно, не возвращаясь к инициализации, затем после n уровней сокращения мы сбросим инициализацию, используя последнюю имеющуюся у нас маску?

Answer 1

Веса каждый раз сбрасываются на начальные значения.

Гипотеза лотерейных билетов основывается на том, что начальные веса остаются постоянными. Если начальные веса изменены, то маскированная подсеть больше не действует. Таким образом, они должны быть сброшены каждый раз.

Авторы продемонстрировали эту точку экспериментально и суммировали на странице 5.

Этот эксперимент подтверждает акцент гипотезы лотерейного билета на инициализации: Первоначальная инициализация выдерживает и выигрывает от сокращения, в то время как производительность произвольной повторной инициализации немедленно страдает и постоянно уменьшается.