Как загрузить набор данных файлов изображений в блокнот TensorFlow Jupyter - PullRequest
Новая
       23

Как загрузить набор данных файлов изображений в блокнот TensorFlow Jupyter

1 голос
/ 14 мая 2019

Я пытаюсь создать модель для классификации некоторых растений, просто чтобы научиться использовать TensorFlow.Проблема в том, что каждый хороший пример , который я могу использовать в качестве ссылки, загружает набор данных .csv, и я хочу загрузить набор данных .jpeg (также может быть .png или .jpg).

В этих примерах даже используется встроенный набор данных, например: 

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

Мой набор данных организован в папки, содержащие метку цветка, а внутри находятся изображения, упорядоченные по номерам.

enter image description here

enter image description here

1 Ответ

2 голосов
/ 14 мая 2019

Позвольте мне предположить, что ваша структура папок выглядит следующим образом: 

├── testfiles
|   ├── BougainvilleaGlabra
|   |   ├── BougainvilleaGlabra_001.jpeg
|   |   ├── *.jpeg
|   ├── HandroanthusChrysotrichus
|   |   ├── HandroanthusChrysotrichus_001.jpeg
|   |   ├── *.jpeg
|   ├── SpathodeaVenusta
|   |   ├── SpathodeaVenusta_001.jpeg
|   |   ├── *.jpeg
|   ├──TibouchinaMutabilis
|   |   ├── TibouchinaMutabilis_001.jpeg
|   |   ├── *.jpeg
├── test.py

Сначала вам нужно получить все пути к изображениям. 

import glob,os

path = 'testfiles/'
files = [f for f in glob.glob(path + "*/*.jpeg", recursive=True)]
print(files)

['testfiles/HandroanthusChrysotrichus/HandroanthusChrysotrichus_002.jpeg', 'testfiles/HandroanthusChrysotrichus/HandroanthusChrysotrichus_001.jpeg', ...]

Затем вам нужно закодировать каждый класс в число. 

label_map = {'BougainvilleaGlabra':0,
             'HandroanthusChrysotrichus':1,
             'SpathodeaVenusta':2,
             'TibouchinaMutabilis':3,}
label = [label_map[os.path.basename(file).split('_')[0]] for file in files]
print(label)

[1, 1, 1, 0, 0, 0, 2, 2, 2, 3, 3, 3]

И тогда вы можете использовать tf.data.Dataset.Вам нужна функция для чтения изображения и изменения его размера в одну и ту же форму. 

import tensorflow as tf
def read_image(filename,label):
    image_string = tf.read_file(filename)
    image_decoded = tf.image.decode_jpeg(image_string)
    image_resized = tf.image.resize_images(image_decoded, [28, 28])
    return image_resized,label

dataset = tf.data.Dataset.from_tensor_slices((files,label))
# you can use batch() to set batch_size
dataset = dataset.map(read_image).shuffle(1000).batch(2)
print(dataset.output_shapes)
print(dataset.output_types)

(TensorShape([Dimension(None), Dimension(28), Dimension(28), Dimension(None)]), TensorShape([Dimension(None)]))
(tf.float32, tf.int32)

Наконец, вы определяете итератор для получения пакетных данных. 

iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()

with tf.Session() as sess:
    for _ in range(2):
        sess.run(iterator.initializer)
        batch_image,batch_label = sess.run(next_element)
        print(batch_image.shape)
        print(batch_label.shape)

(2, 28, 28, 4)
(2,)
(2, 28, 28, 4)
(2,)
...