Почему реализация AdamOptimizer в tenorflow не поддерживает нормализацию L2

Question

Реализация Tensorflow AdamOptimzer не имеет таких параметров регуляризации, как в ProximalAdamOptimizer , например l2_regularization_strength, необходимо ли добавлять норму l2 в AdamOptimzer

Answer 1

Обычно вы добавляете регуляризацию к вашей потере самостоятельно, как описано здесь . Однако tf.train.ProximalAdagradOptimizer включает специальную нестандартную регуляризацию, которая является частью алгоритма и, следовательно, также частью tf.train.ProximalAdagradOptimizer.

Answer 2

Tensorflows Реализация Адама - это всего лишь реализация: реализация Адама , в точности как она определена и проверена в статье.

Если вы хотите использовать Адама с регуляризацией L2 для вашей проблемы, вам просто нужно добавить термин регуляризации L2 к вашей потере с некоторой степенью регуляризации, которую вы можете выбрать сами.

Я не могу сказать вам, если это необходимо или полезно, или какую силу регуляризации и регуляризации использовать, потому что это сильно зависит от проблемы и довольно субъективно.