Я хотел бы реализовать инициализатор для нормализации веса (Salimans & Kingma, 2016) в TensorFlow. По сути, этот метод делает инициализацию параметров слоя на основе данных.
Я нашел несколько реализаций онлайн (например, this ). Однако я хотел бы иметь что-то более удобное для пользователя, например, инициализатор для прямой подачи в слой. Примером такого инициализатора может быть He, который можно определить и использовать как:
he_init = tf.contrib.layers.variance_scaling_initializer(factor=2.0, mode='FAN_IN', uniform=False)
conv = tf.layers.conv2d(inputs, filters, kernel_size, kernel_initializer=he_init)
Я хотел бы иметь что-то похожее для нормализации веса, например:
wn_init = weight_normalization_init()
conv = tf.layers.conv2d(inputs, filters, kernel_size, kernel_initializer=wn_init)
Я использую тензор потока 1.12, но я думаю, что это может быть полезно и для тензор потока 2.
Спасибо, Г.