Чтение набора данных в виде партий для обучения - PullRequest
Новая
       3

Чтение набора данных в виде партий для обучения

1 голос
/ 14 января 2020

Я пытаюсь прочитать набор данных cifar10 и использовать его для обучения модели, поэтому я пытаюсь читать партии и запускать сеанс, как показано ниже: 

 # Optimizer
    opt = tf.train.AdamOptimizer(0.0001)
    global_step = tf.get_variable('global_step', initializer=tf.constant(0), trainable=False)
    train_op = opt.apply_gradients(zip(grads, var_list), global_step=global_step)

    (x_train, y_train), (x_test, y_test) = keras.datasets.cifar10.load_data()

    image_batch, label_batch = tf.train.batch([x_train, y_train], batch_size=batch_size)
    #image_batch_uint8 = tf.cast(image_batch, tf.uint8)

    # Train
    with tf.Session() as sess:

        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(sess=sess, coord=coord)

        sess.run(tf.global_variables_initializer())
        for i in range(10000000):
            _loss_value, _reward_value, _ = sess.run([loss, reward, train_op], feed_dict={
                images_ph: image_batch,
                labels_ph: label_batch
            })
            if i % 100 == 0:
                print('iter: ', i, '\tloss: ', _loss_value, '\treward: ', _reward_value)

Однако я получаю эту ошибку: 

 File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", line 900, in run
    run_metadata_ptr)
  File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", line 1086, in _run
    'feed with key ' + str(feed) + '.')
The value of a feed cannot be a tf.Tensor object. Acceptable feed values include Python scalars, strings, lists, numpy ndarrays, or TensorHandles.For reference, the tensor object was Tensor("batch:0", shape=(32, 50000, 32, 32, 3), dtype=uint8) which was passed to the feed with key Tensor("Placeholder:0", shape=(?, 1024), dtype=float32).

Что я делаю не так? Как я могу убедиться, что все наборы данных будут заполнены как эпохи, есть ли более простой способ подачи данных в набор данных ??

1 Ответ

0 голосов
/ 15 января 2020

Ошибка в том, что переменные image_batch и label_batch являются тензорами. Синтаксис dict для канала {tensor1:value1,tensor2:value2.....}. Таким образом, вам нужно кормить numpy массивами вместо value1,value2...

Так что вам просто нужно сделать value1,value2 = sess.run([image_batch,label_batch]).

В целом изменение выглядит следующим образом: 

.
.
for i in range(10000000):

    try:

         raw_images, raw_labels = sess.run([image_batch, label_batch])
        _loss_value, _reward_value, _ = sess.run([loss, reward, train_op], feed_dict={image_batch: raw_images, label_batch: raw_labels})

    except tf.errors.OutOfRangeError:
         print("Breaking...")
         break
         .
         .
    if i % 100 == 0:
         print('iter: ', i, '\tloss: ', _loss_value, '\treward: ', _reward_value)

Я думаю, что с tf.train.Coordinator() вместо блока try..except, который я написал, вы также можете использовать следующий блок (на их сайте) : 

try:
  while not coord.should_stop():
    ...do some work...
except Exception as e:
  coord.request_stop(e)
...