Выборочная оптимизация модели Keras с помощью Tensorflow - PullRequest
Новая
       19

Выборочная оптимизация модели Keras с помощью Tensorflow

0 голосов
/ 10 сентября 2018

Я создаю GAN (генеративную сеть adversariel), используя как Tensorflow, так и Keras. Проблема возникает, когда я пытаюсь передать свой список параметров обучения генератора в vars_list для этапа обучения.

Мой генератор выглядит как 

def create_generator(z_noise):
    #build layer one
    l1 = Dense(h1_size)(z_noise)
    L1 = LeakyReLU(0.1)(l1)
    #layer 2 
    l2 = Dense(h2_size)(L1)
    L2 = LeakyReLU(0.1)(l2)
    #layer 3
    l3 = Dense(h3_size)(l2)
    #generated data
    x_generate = sigmoid(l3)
    #params
    g_params = [l1, L1, l2, L2, l3]

    return x_generate, g_params

Затем x_generate передается в дискриминатор, который все еще записан в Tensorflow и должен быть преобразован в керас. Эта часть работает правильно, пока я не передам параметры оптимизации. 

#generate the nets

x_generated, g_params = create_generator(z_prior)
y_data, y_generated, d_params = create_discriminator(x_data, x_generated, keep_prob)

#declare loss functions
d_loss = - (tf.log(y_data) + tf.log(1 - y_generated)) # inverted due to inability to do normal maximization
g_loss = - tf.log(y_generated)

#optimizer
optimizer = tf.train.AdamOptimizer(learning_rate=0.0001)
d_trainer = optimizer.minimize(d_loss, var_list=d_params)
g_trainer = optimizer.minimize(g_loss, var_list=g_params)

Результатом является ошибка с указанием 

NotImplementedError: ('Trying to update a Tensor ', <tf.Tensor 'dense_4/BiasAdd:0' shape=(256, 20) dtype=float32>)

на линии 

g_trainer = optimizer.minimize(loss, var_list=g_params)

1 Ответ

0 голосов
/ 10 сентября 2018

Вы используете активации слоев, а не обучаемые параметры в этих слоях в var_list.

Попробуйте что-то вроде следующего: 

def create_generator(z_noise):
    with tf.variable_scope('generator', reuse=tf.AUTO_REUSE):
        #build layer one
        l1 = Dense(h1_size)(z_noise)
        L1 = LeakyReLU(0.1)(l1)
        #layer 2 
        l2 = Dense(h2_size)(L1)
        L2 = LeakyReLU(0.1)(l2)
        #layer 3
        l3 = Dense(h3_size)(l2)
        #generated data
        x_generate = sigmoid(l3)

    g_params = tf.get_collection(
            tf.GraphKeys.GLOBAL_VARIABLES, scope='generator')

    return x_generate, g_params
...