Продолжить обучение style-gan 2 сети после сбоя

Question

Я пытался обучить сеть style-gan2, используя собственный набор данных. К сожалению, сервер, на котором я в данный момент выполняю вычисления, несколько нестабилен, что приводит к тому, что после трех дней обучения он достигает sh. Можно ли как-нибудь продолжить обучение сети, используя последний снимок сети до ее сбоя? Я видел некоторые ссылки на продолжение обучения сети, но ни на страницах github style-gan, ни в style-gan2 это не упоминается.

Answer 1

После копания в коде я немного разобрался. Оказывается, есть переменная resume_pkl в training \ training_l oop. Установив эту переменную в путь к моментальному снимку, с которого я хотел продолжить, я смог перезапустить тренировочный процесс. В настоящее время сеть возобновила обучение, и я сделаю еще один комментарий, если у меня возникнут какие-либо проблемы.

Answer 2

Существует также запрос на получение поддержки: https://github.com/NVlabs/stylegan2/pull/6