Tensorflow LSTM: как использовать разные веса для каждой партии? - PullRequest
Новая
       8

Tensorflow LSTM: как использовать разные веса для каждой партии?

0 голосов
/ 30 марта 2020

Я говорю о реализации tf.keras.layers.LSTM, так как я хочу использовать cuDNN для моего пакетного LSTM.

Прямо сейчас я использую "ручную" реализацию LSTM, потому что я хочу иметь разные веса / смещения для каждой партии. Знаете ли вы, как использовать реализацию LSTM TensorFlows LSTM с уникальным набором весов / смещений для каждой партии?

1 Ответ

0 голосов
/ 13 апреля 2020

Может быть, вы можете использовать что-то подобное. Это пример полностью подключенного слоя для CNN 

def dense_fc4(n_objects):
        initializer = lambda: tf.contrib.layers.xavier_initializer()(shape=(1024,512))
        return tf.Variable(initial_value=initializer, name='fc4/kernel',
                           shape=(n_objects.shape[0], 1024, 512))


    W4 = tf.map_fn(dense_fc4, samples_flat)
    b4 = tf.get_variable('fc4/bias', shape=512, initializer=tf.zeros_initializer())
    fc4 = tf.add(tf.matmul(samples_flat, W4), b4)
    fc4 = tf.nn.relu(fc4)
...