Вывод Tensorflow до слоя logits - для партий на предварительно обученной модели - PullRequest
Новая
       11

Вывод Tensorflow до слоя logits - для партий на предварительно обученной модели

0 голосов
/ 01 октября 2018

Я пытаюсь выполнить вывод для имеющегося у меня набора данных (X_train) и получить значение слоя logits без софтмакса, примененного к выходу.Модель, которую я загружаю из файла контрольных точек (model_X.ckpt), имеет слой logits с именем "logits".В общем, я хочу запустить: 

sess.run("model_X/logits:0", feed_dict: {"Placeholder:0": X_train, keep_prob:1.0})

Но модель ограничивает размер входного набора данных 32, что не позволяет мне пропускать 10000 входов одновременно.Вот почему я также использую пакетное создание как таковое: 

features_placeholder = tf.placeholder(X_train.dtype, X_train.shape)
dataset = tf.data.Dataset.from_tensor_slices((features_placeholder))
dataset = dataset.batch(32)

Я создаю итератор (использование one-shot-iterator взрывает размер моего графика, основываясь исключительно на моих рассуждениях): 

def initialize_iterator(sess, iterator, features):
    sess.run(iterator.initializer, feed_dict={features_placeholder: features})

iterator = dataset.make_initializable_iterator()
initialize_iterator(sess, iterator, X_train)
next_x = iterator.get_next()

# Assign the first batch:
val = sess.run(next_x)

layer = "model_X/logits:0"
units = sess.run(layer,feed_dict={"Placeholder:0": val, keep_prob:1.0})

Как перебрать все партии, чтобы вывести все входные данные?

1 Ответ

0 голосов
/ 08 октября 2018

Итак, чтобы выполнить итерацию по всем пакетам, для размера набора данных 100k и размера пакета 32 (3125 итераций) мне просто нужно было сделать: 

def body(sess, batch, arr):
    val = sess.run(batch)

def getActivations(sess,layer,stimuli,labels):

    units = sess.run(layer,feed_dict={"Placeholder:0": np.reshape(stimuli,[32,64,64,3]), keep_prob:1.0})
    return units

    try:
        res = getActivations(sess,"model_X/logits:0",val)
        arr = np.append(arr, np.reshape(res,[32,1024]), axis=0)
    except tf.errors.OutOfRangeError:
        print("End of dataset")  

    return arr, pred

with tf.Session() as sess:

    load_graph(sess)

    initialize_iterator(sess, iterator, X_train)
    next_x = iterator.get_next()

    arr = np.empty((0,2048), int)

    for i in range(0,3125):
        arr = body(sess, next_x, arr)
...