TensorFlow и вложения слов - Ошибка типа: неустранимый тип: 'numpy.ndarray'

Question

Я хочу изменить код на http://www.brightideasinanalytics.com/rnn-pretrained-word-vectors/,, который предназначен для предсказания следующего слова, чтобы иметь код, который предсказывает ответы на вопросы.

Вот выдержка из кода, который я имеюпроблема с:

import tensorflow.contrib as ct

def NHIDDEN():
    return 1

g = tf.Graph()
tf.reset_default_graph()

with g.as_default():
    # lines 97-104 of original code
    # RNN output node weights and biases
    weights = { 'out': tf.Variable(tf.random_normal([NHIDDEN(), embedding_dim])) }
    biases = { 'out': tf.Variable(tf.random_normal([embedding_dim])) }

    with tf.name_scope("embedding"):
        W = tf.Variable(tf.constant(0.0, shape=[vocab_size, embedding_dim]),
                    trainable=False, name="W")
        embedding_placeholder = tf.placeholder(tf.float32, [vocab_size, embedding_dim])
        embedding_init = W.assign(embedding_placeholder)
        preimage = tf.nn.embedding_lookup(W, x2)

    # lines 107-119 of original
    # reshape input data
    x_unstack = tf.unstack(preimage)

    # create RNN cells
    rnn_cell = ct.rnn.MultiRNNCell([ct.rnn.BasicLSTMCell(NHIDDEN()), ct.rnn.BasicLSTMCell(NHIDDEN())])
    outputs, states = ct.rnn.static_rnn(rnn_cell, x_unstack, dtype=tf.float32)

    # capture only the last output
    pred = tf.matmul(outputs[-1], weights['out']) + biases['out'] 

    # Create loss function and optimizer
    cost = tf.reduce_mean(tf.nn.l2_loss(pred-y))
    optimizer = tf.train.AdamOptimizer(learning_rate=0.001).minimize(cost)

    # lines 130, 134 and 135 of original
    step = 0
    acc_total = 0
    loss_total = 0

    with tf.Session(graph = g) as sess:
        # lines 138, 160, 162, 175, 178 and 182 of original
        while step < 1: # training_iters:
            _,loss, pred_ = sess.run([optimizer, cost, pred], feed_dict =
                                 {x: tf.nn.embedding_lookup(W, x2), y: tf.nn.embedding_lookup(W, y)})
            loss_total += loss
            print("loss = " + "{:.6f}".format(loss_total))
            step += 1
        print ("Finished Optimization")

Я получаю ошибку:

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-7-7a72d8d4f100> in <module>()
     42         while step < 1: # training_iters:
     43             _,loss, pred_ = sess.run([optimizer, cost, pred], feed_dict =
---> 44                                      {x: tf.nn.embedding_lookup(W, x2), y: tf.nn.embedding_lookup(W, y)})
     45             loss_total += loss
     46             print("loss = " + "{:.6f}".format(loss_total))

TypeError: unhashable type: 'numpy.ndarray'

Как мне исправить код?Это из-за unstack ing?

Дополнительный контекст: x2 и y присваивается возвращаемое значение np.array(list(vocab_processor.transform([s]))), где s - строка (путем передачи разных строк).embedding_dim, vocab_size и W вычисляются с использованием кода на https://ireneli.eu/2017/01/17/tensorflow-07-word-embeddings-2-loading-pre-trained-vectors/.

Answer 1

Проблема возникает здесь: y: tf.nn.embedding_lookup(W, y).Ключи feed_dict должны быть заполнителями из графика TensorFlow.Предполагая, что y является numpy.ndarray, содержащим целевые значения, вы можете определить tf.placeholder y_ для подачи целевых значений в сеть, изменив соответствующую запись feed_dict на y_: tf.nn.embedding_lookup(W, y) и соответственно изменяя другие тензоры (т. Е. Используйте тензор y_ для вычисления потерь).