Раздвижное окно пакета в Tensorflow с использованием API набора данных - PullRequest
Новая
       11

Раздвижное окно пакета в Tensorflow с использованием API набора данных

0 голосов
/ 30 мая 2018

Есть ли способ изменить композицию моих изображений в пакете?В настоящий момент, когда я создаю, например, пакет размером 4, мои партии будут выглядеть так:

Пакет1: [Img0 Img1 Img2 Img3] Пакет2: [Img4 Img5 Img6 Img7]

Мне нужноизменить состав моих партий так, чтобы он только один раз переходил к следующему изображению.Тогда это должно выглядеть так:

Пакет 1: [Img0 Img1 Img2 Img3] Пакет 2: [Img1 Img2 Img3 Img4] Пакет 3: [Img2 Img3 Img4 Img5] Пакет 4: [Img3 Img4 Img5 Img6] Пакет 5: [Img4 Img5 Img6 Img7]

Я использую в своемкод API набора данных Tensorflow, который выглядит следующим образом: 

def tfrecords_train_input(input_dir, examples, epochs, nsensors, past, future,
                          features, batch_size, threads, shuffle, record_type):
    filenames = sorted(
        [os.path.join(input_dir, f) for f in os.listdir(input_dir)])
      num_records = 0
      for fn in filenames:
        for _ in tf.python_io.tf_record_iterator(fn):
          num_records += 1
      print("Number of files to use:", len(filenames), "/ Total records to use:", num_records)
      dataset = tf.data.TFRecordDataset(filenames)
      # Parse records
      read_proto = partial(record_type().read_proto, nsensors=nsensors, past=past,
                           future=future, features=features)
      # Parallelize Data Transformation on available GPU
      dataset = dataset.map(map_func=read_proto, num_parallel_calls=threads)
      # Cache data
      dataset = dataset.cache()
      # repeat after shuffling
      dataset = dataset.repeat(epochs)
      # Batch data
      dataset = dataset.batch(batch_size)
      # Efficient Pipelining
      dataset = dataset.prefetch(2)
      iterator = dataset.make_one_shot_iterator()
      return iterator

1 Ответ

0 голосов
/ 30 мая 2018

Может быть достигнуто с помощью sliding window пакетной операции для tf.data.Dataset:

Пример: 

from tensorflow.contrib.data.python.ops import sliding

imgs = tf.constant(['img0','img1', 'img2','img3', 'img4','img5', 'img6', 'img7'])
labels = tf.constant([0, 0, 0, 1, 1, 1, 0, 0])

# create TensorFlow Dataset object
data = tf.data.Dataset.from_tensor_slices((imgs, labels))

# sliding window batch
window = 4
stride = 1
data = data.apply(sliding.sliding_window_batch(window, stride))

# create TensorFlow Iterator object
iterator =  tf.data.Iterator.from_structure(data.output_types,data.output_shapes)
next_element = iterator.get_next()

# create initialization ops 
init_op = iterator.make_initializer(data)

with tf.Session() as sess:
   # initialize the iterator on the data
   sess.run(init_op)
   while True:
      try:
         elem = sess.run(next_element)
         print(elem)
      except tf.errors.OutOfRangeError:
         print("End of dataset.")
         break

Выход: 

 (array([b'img0', b'img1', b'img2', b'img3'], dtype=object), array([0, 0, 0, 1], dtype=int32))
 (array([b'img1', b'img2', b'img3', b'img4'], dtype=object), array([0, 0, 1, 1], dtype=int32))
 (array([b'img2', b'img3', b'img4', b'img5'], dtype=object), array([0, 1, 1, 1], dtype=int32))
 (array([b'img3', b'img4', b'img5', b'img6'], dtype=object), array([1, 1, 1, 0], dtype=int32))
 (array([b'img4', b'img5', b'img6', b'img7'], dtype=object), array([1, 1, 0, 0], dtype=int32))
...