Эффективный способ загрузки .npz с помощью итератора Tensorflow - PullRequest
Новая
       6

Эффективный способ загрузки .npz с помощью итератора Tensorflow

0 голосов
/ 28 августа 2018

У меня большой обучающий файл .npz, который я хочу прочитать более эффективно. Я пытался следовать подходу из документации Tensorflow (https://www.tensorflow.org/guide/datasets#consuming_numpy_arrays):

В качестве альтернативы, вы можете определить набор данных в терминах tf.placeholder () и передают массивы NumPy, когда вы инициализировать Итератор для набора данных.

Однако после реализации итератора моя модель потребляет в 2 раза больше памяти. У вас есть какие-нибудь подсказки, что здесь может быть не так? 

def model(batch_size):
    x = tf.placeholder(tf.float32,[None, IMGSIZE,IMGSIZE,1])
    y = tf.placeholder(tf.float32,[None, n_landmark * 2])
    z = tf.placeholder(tf.int32, [None, ])

    Ret_dict['x'] = x
    Ret_dict['y'] = y
    Ret_dict['z'] = z
    Ret_dict['iterator'] = iter_

   dataset = tf.data.Dataset.from_tensor_slices((x, y, z)).batch(batch_size)
   iter_ = dataset.make_initializable_iterator()
   InputImage, GroundTruth, GroundTruth_Em = iter_.get_next()

   Conv1a = tf.layers.conv2d(InputImage,64,3,1,..)
   (...)


def main():
    trainSet = np.load(args.datasetDir)
    Xtrain = trainSet['Image']
    Ytrain = trainSet['Label_1']
    Ytrain_em = trainSet['Label_2']

    with tf.Session() as sess:
        my_model = model(BATCH_SIZE)
        Saver = tf.train.Saver()
        Saver.restore(sess, args.pretrainedModel)

        sess.run(
            [model['Optimizer'], model['iterator'].initializer],
                    feed_dict={model['x']:Xtrain,    
                               model['y']:Ytrain,
                               model['z']:Ytrain_em})
...