Как приспособиться к случайности весов нейронной сети?

Question

Веса сети случайны во время инициализации.Таким образом, если вы тренируете сеть несколько раз с разными случайными весами, вы получите разные результаты.

Мой вопрос:

1. Что вы делаете во время настройки гиперпараметра?Проводите ли вы переобучение сети несколько раз для каждой конфигурации гиперпараметра, и принимаете ли вы среднее значение результатов в качестве значения этой конфигурации гиперпараметра?И если это так, кто-нибудь использует информацию, представленную стандартным отклонением?
2. Окончательные результаты представлены в данных испытаний.мы обучаем сеть несколько раз, чтобы компенсировать случайные веса, или только один раз?

Например, в этом документе Нейронное представление чертежей эскиза они сообщают журнал- вероятность для различных категорий в этой таблице Так что я не понимаю методологию получения этих чисел.

Я ценю любые разъяснения: -)

Answer 1

Я бы сказал, исправьте начальное число, чтобы вы каждый раз получали один и тот же случайный инициал и играли только с гиперпараметрами.Конечно, если вы хотите попробовать разные ранты (например, один из https://keras.io/initializers/), тогда это будет гиперпараметр.

Answer 2

В приведенной вами статье речь не идет об инициализации веса сети.Это примерно взвешивание двух функций потерь , как показывает следующая ключевая фраза:

Наша процедура обучения следует подходу вариационного автоэнкодера [15], где функция потерьэто сумма двух слагаемых: Реконструкция , LR и Kullback-Leibler Divergence Loss, LKL.

В любом случае, чтобы ответить на ваш вопрос,В нейронной модели есть несколько других случайных факторов, а не только инициализация весов.Для обработки этой случайности, ее дисперсии есть также несколько методов.Некоторые из них обучают сеть несколько раз, как вы упомянули, с разным набором тестов, различными методами перекрестной проверки и многими другими.Вы можете исправить начальное случайное состояние генератора случайных чисел, чтобы каждый процесс настройки гиперпараметров имел одинаковую «случайность» в отношении весов, но вы можете, а иногда и должны делать это на разных этапах процесса обучения, т.е. вы можете использовать начальное число (1234).при инициализации веса, но при получении тестовых наборов вы можете использовать seed (555), чтобы получить аналогичное распределение из двух наборов.