Гипотеза лотерейных билетов - итеративная обрезка - PullRequest
0 голосов
/ 01 февраля 2020

Я читал о Гипотезе о лотерейных билетах , и в статье упоминалось:

мы фокусируемся на итеративном сокращении, которое многократно обучает, сокращает и сбрасывает сеть за n раундов; каждый раунд чернослив (p ^ (1 / n))% от веса, который выжил в предыдущем раунде.

Может ли кто-нибудь объяснить это слово для каждого раунда с числами, когда n = 5 (раундов) и конечная требуемая разреженность (p) = 70%.

В этом примере вычисленные мной числа выглядят следующим образом:

Round        (p^(1/n))% of weights pruned

1             0.93114999

2             0.86704016

3             0.80734437

4             0.75175864

5             0.7

Согласно этим вычислениям, кажется, что первый раунд чернослив 93,11% (приблизительно) от веса, в то время как пятый раунд чернослив 70% веса. Как будто по ходу раундов процент сокращения веса уменьшается. Что я делаю не так?

Спасибо!

1 Ответ

0 голосов
/ 01 февраля 2020

Вы используете p ^ (1 / n). Когда вы увеличиваете n после каждой итерации, ваш член p ^ (1 / n) уменьшается!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...