Как разделить набор данных изображения в X_train, y_train, X_test, y_test по тензорному потоку? - PullRequest
Новая
       14

Как разделить набор данных изображения в X_train, y_train, X_test, y_test по тензорному потоку?

1 голос
/ 12 марта 2020

Как я могу разделить данные изображения на X_train, Y_train, X_test и Y_test?

Я использую кера с тензором backend

Спасибо.

Ответы [ 2 ]

1 голос
/ 25 марта 2020

Например, у вас есть папка, подобная этой 

full_dataset
|--horse (40 images)
|--donkey (30 images)
|--cow ((50 images)
|--zebra (70 images)

ПЕРВЫЙ ПУТЬ 

import glob
horse = glob.glob('full_dataset/horse/*.*')
donkey = glob.glob('full_dataset/donkey/*.*')
cow = glob.glob('full_dataset/cow/*.*')
zebra = glob.glob('full_dataset/zebra/*.*')

data = []
labels = []

for i in horse:   
    image=tf.keras.preprocessing.image.load_img(i, color_mode='RGB', 
    target_size= (280,280))
    image=np.array(image)
    data.append(image)
    labels.append(0)
for i in donkey:   
    image=tf.keras.preprocessing.image.load_img(i, color_mode='RGB', 
    target_size= (280,280))
    image=np.array(image)
    data.append(image)
    labels.append(1)
for i in cow:   
    image=tf.keras.preprocessing.image.load_img(i, color_mode='RGB', 
    target_size= (280,280))
    image=np.array(image)
    data.append(image)
    labels.append(2)
for i in zebra:   
    image=tf.keras.preprocessing.image.load_img(i, color_mode='RGB', 
    target_size= (280,280))
    image=np.array(image)
    data.append(image)
    labels.append(3)

data = np.array(data)
labels = np.array(labels)

from sklearn.model_selection import train_test_split
X_train, X_test, ytrain, ytest = train_test_split(data, labels, test_size=0.2,
                                                random_state=42)

ВТОРОЙ ПУТЬ 

image_generator = ImageDataGenerator(rescale=1/255, validation_split=0.2)    

train_dataset = image_generator.flow_from_directory(batch_size=32,
                                                 directory='full_dataset',
                                                 shuffle=True,
                                                 target_size=(280, 280), 
                                                 subset="training",
                                                 class_mode='categorical')

validation_dataset = image_generator.flow_from_directory(batch_size=32,
                                                 directory='full_dataset',
                                                 shuffle=True,
                                                 target_size=(280, 280), 
                                                 subset="validation",
                                                 class_mode='categorical')

Главный недостаток из Второго пути, вы можете не использовать для отображения изображения. Будет ошибка, если вы напишите validation_dataset[1]. Но это сработало, если я использую первый способ: X_test[1]

1 голос
/ 13 марта 2020

Вам не нужно использовать тензорный поток или керас, чтобы разделить ваш набор данных. Если у вас установлен пакет sklearn, вы можете просто использовать его: 

from klearn.model_selection import train_test_split
X = ...
Y = ...
x_train, x_test, y_train, y_test = train_test_split(X, Y, test_size=0.2)

Вы также можете использовать numpy для той же цели: 

import numpy
X = ...
Y = ...
test_size = 0.2
train_nsamples = (1-test_size) * len(Y)
x_train, x_test, y_train, y_test = X[:train_nsamples,:], X[train_nsamples:, :], Y[:train_nsamples, ], Y[train_nsamples:,]

Удачи!

...