Можно ли обучить новую сеть на основе старой без данных?

Question

Можно ли обучить новую меньшую сеть на основе уже обученной сети без данных?т.е. новая сеть должна просто пытаться имитировать поведение 1-го.

Если это невозможно без данных, есть ли преимущества уже обученной сети?то есть, как я понимаю, по крайней мере, мы можем использовать его для псевдо-маркировки.

Обновление:

Самая актуальная статья, которую я нашел:

https://arxiv.org/pdf/1609.02943.pdf

Answer 1

Я не думаю, что вы можете сказать, что вы обучаете сеть, если вы не используете какие-либо данные.Но вы всегда можете попытаться получить меньшую, например, обрезкой большой сети (в простейшем случае это означает удаление весов, которые имеют норму l2, близкую к нулю), есть богатыйлитература по теме.Кроме того, я думаю, что вам могут пригодиться некоторые работы по дистилляции знаний, например, Переработка знаний без данных для глубоких нейронных сетей .