Предсказать метку текста с помощью многослойной модели персептрона в Tensorflow

Question

Я следую учебному пособию и могу просмотреть код, который обучает нейронную сеть и оценивает ее точность.

Но я не знаю, как использовать обученную модель на новом одном входе (строка), чтобы предсказать его метку.

Можете ли вы посоветовать, как это можно сделать?

Учебное пособие:

https://medium.freecodecamp.org/big-picture-machine-learning-classifying-text-with-neural-networks-and-tensorflow-d94036ac2274

Код сессии:

# Launch the graph
with tf.Session() as sess:
    sess.run(init)

    # Training cycle
    for epoch in range(training_epochs):
        avg_cost = 0.
        total_batch = int(len(newsgroups_train.data)/batch_size)
        # Loop over all batches
        for i in range(total_batch):
            batch_x,batch_y = get_batch(newsgroups_train,i,batch_size)
            # Run optimization op (backprop) and cost op (to get loss value)
            c,_ = sess.run([loss,optimizer], feed_dict={input_tensor: batch_x,output_tensor:batch_y})
            # Compute average loss
            avg_cost += c / total_batch
        # Display logs per epoch step
        if epoch % display_step == 0:
            print("Epoch:", '%04d' % (epoch+1), "loss=", \
                "{:.9f}".format(avg_cost))
    print("Optimization Finished!")

    # Test model
    correct_prediction = tf.equal(tf.argmax(prediction, 1), tf.argmax(output_tensor, 1))
    # Calculate accuracy
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
    total_test_data = len(newsgroups_test.target)
    batch_x_test,batch_y_test = get_batch(newsgroups_test,0,total_test_data)
    print("Accuracy:", accuracy.eval({input_tensor: batch_x_test, output_tensor: batch_y_test}))

У меня есть некоторый опыт работы с Python, но в основном нет опыта работы с Tensorflow.

Answer 1

Tensorflow использует декларативный стиль программирования.Вам нужно объявить , что вы хотите, и только потом вызывать его run или eval функции.

1), если вы хотите сделать интерактивную работу с вашей моделью, вам нужно иметь обработчик Session открытым.Замените первые строки на:

# Launch the graph
sess = tf.Session()
with sess.as_default():
    .......

Оригинальный код закрывает сессию, и вы больше не можете использовать обученную модель.Не забудьте вызвать sess.close(), когда вам это не нужно, чтобы высвободить ресурсы, выделенные для TF.

2) Теперь вам нужно преобразовать текст, который вы хотите классифицировать, в представление числового тензора.В оригинальном коде это делается с помощью get_batch().Следуйте той же схеме.

3) Объявите результат.Ваша модель связана с переменной prediction.

4) Вызов TF.Итоговый код выглядит так:

texts = ['''By '8 grey level images' you mean 8 items of 1bit images?
It does work(!), but it doesn't work if you have more than 1bit
in your screen and if the screen intensity is non-linear.''',

'''Wanted: Shareware graphics display program for DOS.
Distribution: usa\nOrganization: University of Notre Dame, Notre Dame
Lines: 16 I need a graphics display program that can take as a parameter the name of
the file to be displayed, then just display that image and then quit.
All of the other graphics display programs come up with a menu first or some other silliness.
This program is going to be run from within another program.  '''       
        ]
# convert texts to tensors
batch = []
for text in texts:
    vector = np.zeros(total_words,dtype=float)
    for word in text.split(' '):
        if word in word2index:
            vector[word2index[word.lower()]] += 1
    batch.append(vector)

x_in = np.array(batch)

# declare new Graph node variable
category = tf.argmax(prediction,1) # choose by maximum score

# run TF
with sess.as_default():
    print("scores:", prediction.eval({input_tensor: x_in}))
    print('class:', category.eval({input_tensor: x_in}))


Out[]:
scores: [[-785.557    -781.1719    105.238686]
         [ 554.584    -532.36383   263.20908 ]]
class: [2 0] 

Answer 2

Сначала нам нужно преобразовать текст в массив:

def text_to_vector(text):
    layer = np.zeros(total_words,dtype=float)
    for word in text.split(' '):
        layer[word2index[word.lower()]] += 1

    return layer

# Convert text to vector so we can send it to our model
vector_txt = text_to_vector(text)
# Wrap vector like we do in get_batches()
input_array = np.array([vector_txt])

Мы можем сохранять и загружать модели для повторного использования.Сначала мы создаем объект Saver, а затем сохраняем сеанс (после обучения модели):

saver = tf.train.Saver()
... train the model ...
save_path = saver.save(sess, "/tmp/model.ckpt")

В примере модели последний «шаг» в архитектуре модели (т. Е. Последнее, что было сделано внутри multilayer_perceptron метод) это:

'out': tf.Variable(tf.random_normal([n_classes]))

Таким образом, чтобы получить прогноз, мы получаем индекс максимального значения этого массива (прогнозируемый класс):

saver = tf.train.Saver()

with tf.Session() as sess:
    saver.restore(sess, "/tmp/model.ckpt")
    print("Model restored.")

    classification = sess.run(tf.argmax(prediction, 1), feed_dict={input_tensor: input_array})
    print("Predicted category:", classification)

Вы можете проверитьВесь код здесь: https://github.com/dmesquita/understanding_tensorflow_nn

Answer 3

Текстовая информация должна быть преобразована в некоторую числовую форму для подачи в нейронную сеть.Таким образом, приведенный выше код выполняет следующие действия:

Создание vocabulary:

Сначала создается словарь всех слов с уникальным токеном с использованием набора training + text.В коде word2index дает уникальный токен для данного слова.Например, word2index['the'] дает вывод токена 10.

Примечание: Длина word2index дает общий размер словаря и используется в качестве размера элемента внад сетью.

Преобразование текста в объекты

При наличии новой входной строки каждое из слов преобразуется в токены с использованием словаря word2index, и эти токены используются для заполнения вектора объектов (который имеет размер словаря), с частотой появления этого конкретного индекса.Часть кода, которая делает это:

 input = 'Your string ....'

 #form the input feature should be size of the dictionary len(vocab)
 feature = np.zeros(len(vocab),dtype=float)

 #Split each word and then get the token. 
 #Use this token as the index to feature vector to update the frequency of occurrence. 
 for word in input.split(' '):
    feature[word2index[word.lower()]] += 1

Приведенный выше код должен использоваться для генерации ввода в вашу сеть с использованием текстовой строки.

Приведенный выше код имеет проблемы, одна из которых: он не обрабатывает словарные слова (OOV).подробности этой проблемы вы можете найти здесь .