Как построить нейросеть в тензорном потоке с пользовательскими функциями активации?

Question

Я новичок в tenorflow.Я строю трехслойную нейронную сеть (всего один скрытый слой) с использованием тензорного потока, и я хочу применить пользовательскую функцию активации к скрытому слою.

Я реализовал это, используя библиотеку np:

def my_network(input_layer,centers,beta, weights):
    layer_1 = input_layer
    gaussian = np.array([[sum([i*i for i in vec]) for vec in layer_1-center] for center in centers])
    a = beta.reshape(len(beta),1)* gaussian
    layer_2 = np.array([[np.exp(i) for i in vec] for vec in a]) 
    output = tf.matmul(np.transpose(layer_2).astype(np.float32), weights['w'])
    return output

Я хочу преобразовать его в некоторый код, подходящий для тензорного потока и его градиентов.Как мне это сделать?

Answer 1

Попробуйте этот небольшой фрагмент для нескольких слоев свертки:

# placeholders
X = tf.placeholder(tf.float32, [None, 28, 28, 1], name="input_X")
y = tf.placeholder(tf.float32, [None, 14, 14, 1], name="Output_y")

# C1
with tf.name_scope("layer1"):
    W1 = tf.get_variable("W1", shape=[3, 3, 1, 32],
                         initializer=tf.contrib.layers.xavier_initializer())
    b1 = tf.get_variable("b1", shape=[32], initializer=tf.contrib.layers.xavier_initializer())
    layer1 = tf.nn.conv2d(X, W1, strides=[1, 1, 1, 1], padding='SAME') + b1
    layer1_act = tf.nn.relu(layer1)  # here you can change to other activation function


# C2
with tf.name_scope("layer2"):
    W2 = tf.get_variable("W2", shape=[3, 3, 32, 64],
                         initializer=tf.contrib.layers.xavier_initializer())
    b2 = tf.get_variable("b2", shape=[64], initializer=tf.contrib.layers.xavier_initializer())
    layer2 = tf.nn.conv2d(layer1_act, W2, strides=[1, 1, 1, 1], padding='SAME') + b2
    layer2_act = tf.nn.relu(layer2)  # here you can change to other activation function


# max pool
with tf.name_scope("maxpool"):
    maxpool = tf.nn.max_pool(layer2_act, [1, 2, 2, 1], [1, 2, 2, 1], 'SAME')  #just to show how to use maxpool

# C3
with tf.name_scope("layer3"):
    W3 = tf.get_variable("W3", shape=[3, 3, 64, 32],
                         initializer=tf.contrib.layers.xavier_initializer())
    b3 = tf.get_variable("b3", shape=[32], initializer=tf.contrib.layers.xavier_initializer())
    layer3 = tf.nn.conv2d(maxpool, W3, strides=[1, 1, 1, 1], padding='SAME') + b3
    layer3_act = tf.nn.relu(layer3)  # here you can change to other activation function

#draw graph of train operation
with tf.name_scope('loss and train operation'):
    loss = tf.reduce_mean(tf.losses.mean_squared_error(
        labels=tf.cast(y, tf.int32),
        predictions=layer3_act))
    optimizer = tf.train.AdamOptimizer(learning_rate=0.00001)
    train_op = optimizer.minimize(loss)