выключить или игнорировать нейроны в pytorch в нейронных сетях - PullRequest
2 голосов
/ 17 октября 2019

Я хочу построить нейронную сеть с прямой связью и обучить ее (до overfitt ) на небольшой части входных функций. Для этого я использовал регуляризацию отсева, так как она следует логике тренировки на небольшую часть, а затем проверяет модель на все характеристики (выключение во время тренировки и включение теста).

Но так как я заинтересован в переоснащении, я не думаю, что выбывание является хорошим решением для меня. Итак, как я могу отключить некоторые входные узлы во время обучения таким же образом, как при регуляризации Dropout, но на этот раз я не хочу, чтобы случайным образом отключал их, а выбирал, какие из них будут игнорироваться во время обучения?

...