Создайте TfRecord для парных данных изображения-текста - PullRequest
Новая
       23

Создайте TfRecord для парных данных изображения-текста

0 голосов
/ 21 апреля 2019

Я застрял на том, чтобы заставить tfrecords работать для данных пары изображение-текст.

Вот код для создания tfrecord из массива графических объектов и текстового файла, 

def npy_to_tfrecords(numpy_array, text_file, output_file):
      f = open(text_file)

      # write records to a tfrecords file
      writer = tf.python_io.TFRecordWriter(output_file)

      # Loop through all the features you want to write
      for X, line in zip(numpy_array, f) :
         #let say X is of np.array([[...][...]])
         #let say y is of np.array[[0/1]]

         txt = "{}".format(line[:-1])
         txt = txt.encode()

         # Feature contains a map of string to feature proto objects
         feature = {}
         feature['x'] = tf.train.Feature(float_list=tf.train.FloatList(value=X.flatten()))
         feature['y'] = tf.train.Feature(bytes_list=tf.train.BytesList(value=[txt]))

         # Construct the Example proto object
         example = tf.train.Example(features=tf.train.Features(feature=feature))

         # Serialize the example to a string
         serialized = example.SerializeToString()

         # write the serialized objec to the disk
         writer.write(serialized)
      writer.close()

Я не могу сделать набор данных после этого: 

def load_data_tfr():

   train = tf.data.TFRecordDataset("train.tfrecord")

   # example proto decode
   def _parse_function1(example_proto):
      keys_to_features = {'x': tf.FixedLenFeature(2048, tf.float32),
                          'y': tf.VarLenFeature(tf.string) } 
      parsed_features = tf.parse_single_example(example_proto, keys_to_features)
      return {"x": parsed_features['x'], "y":  parsed_features['y']} # ['x'], parsed_features['y']

   # Parse the record into tensors.
   train = train.map(_parse_function1)

   return train

Я продолжаю. получаю ошибку: 

train_data = load_data_tfr()
random.shuffle(train_data)

for i in reversed(range(1, len(x))): TypeError: object of type 'MapDataset' has no len()

Любая помощь? спасибо.

1 Ответ

1 голос
/ 21 апреля 2019

MapDataset не имеет длины.

Итак, поместите эти две строки в самый верх вашего кода. 

import tensorflow as tf
tf.enable_eager_execution()

А потом попробуй 

iterator = train_data.make_one_shot_iterator()
image, label = iterator.get_next()

Конечно, я предполагаю, что в вашем разделе tfrecord нет ошибок.

В соответствии с руководством Tensorflow изображения сохраняются в байтовом формате, а не в массивах np.

...