Данные, генерируемые с помощью Tensorflow Dataset.from_generator, приводят к ошибке при вызове iterator.get_next () для него - PullRequest
Новая
       11

Данные, генерируемые с помощью Tensorflow Dataset.from_generator, приводят к ошибке при вызове iterator.get_next () для него

0 голосов
/ 08 марта 2019

Я новичок в Tensorflow. Я проследил за некоторыми онлайн-постами и написал код для получения данных от генератора. Код выглядит так: 

def gen(my_list_of_files):
    for fl in my_list_of_files:
        with open(fl) as f:
            for line in f.readlines():
                json_line = json.loads(line)
                features = json_line['features']
                labels = json_line['labels']
                yield features, labels

def get_dataset():
     generator = lambda: gen()
     return tf.data.Dataset.from_generator(generator, (tf.float32, tf.float32))

def get_input():
     dataset = get_dataset()
     dataset = dataset.shuffle(buffer_size=buffer_size)
     dataset = dataset.repeat().unbatch(tf.contrib.data.unbatch())
     dataset = dataset.batch(batch_size, drop_remainder=False)

     # This is where the problem is
     features, labels = dataset.make_one_shot_iterator().get_next()

     return features, labels

Когда я запускаю это, я получаю ошибку: 

InvalidArgumentError (see above for traceback): Input element must have a non-scalar value in each component.
     [[node IteratorGetNext (defined at /blah/blah/blah) ]]

Значения, которые я получаю, выглядят так: 

[1, 2, 3, 4, 5, 6] # features
7 # label

Мое понимание ошибки состояло в том, что она не может перебирать набор данных, поскольку она не является вектором. Правильно ли мое понимание? Как мне это исправить?

1 Ответ

0 голосов
/ 08 марта 2019 
{
   "features": ["1","2"],
   "labels": "2"

}

Я не вижу вашей ошибки при выполнении этого кода. 

def gen():
    with open('jsondataset') as f:
        data = json.load(f)
        features = data['features']
        labels = data['labels']
        print( features)
        yield features, labels

def get_dataset():
     generator = lambda: gen()
     return tf.data.Dataset.from_generator(generator, (tf.float32, tf.float32))

def get_input():
     dataset = get_dataset()
     dataset = dataset.shuffle(buffer_size=5)
     dataset = dataset.batch(5, drop_remainder=False)

     # This is where the problem is
     iter = dataset.make_one_shot_iterator()
     features, labels = iter.get_next()

     with tf.Session() as sess:
         print(sess.run([features,labels]))


def main():
    get_input()

if __name__ == "__main__":
    main()

[array ([[1., 2.]], dtype = float32), array([2.], dtype = float32)]

...