Как использовать t-SNE для визуализации изображений и представлений скрытого пространства при использовании генераторов данных изображений? - PullRequest
Новая
       7

Как использовать t-SNE для визуализации изображений и представлений скрытого пространства при использовании генераторов данных изображений?

0 голосов
/ 03 декабря 2018

Я тренирую модели глубокого обучения с дополненными данными, используя генераторы данных изображений.Я хотел бы визуализировать данные в изображении (в пикселях) и в скрытом пространстве (вывод из уровня среднего среднего пула в моем коде), чтобы понять их распределение.Я новичок в визуализации t-SNE и хотел бы использовать то же самое для этой цели.Я мог видеть примеры использования t-SNE с авто-кодерами для цифр MNIST, но не для CNN, особенно при использовании генераторов данных изображения.Есть ли способ, где я мог бы включить t-SNE в мой код для визуализации изображения и представления данных в скрытом пространстве? 

# %% load libraries
from keras.models import Model
from keras.callbacks import ModelCheckpoint, TensorBoard
from keras.optimizers import SGD
from keras.applications.vgg16 import VGG16
from keras.layers import GlobalAveragePooling2D, Dense
from keras.preprocessing.image import ImageDataGenerator
# %% Loading the training data
img_width, img_height = 256, 256
train_data_dir = 'data/train'
test_data_dir = 'data/test'
epochs = 40
batch_size = 32 
num_classes= 2
vgg16_model = VGG16(weights='imagenet', include_top=False, input_shape=(256, 256, 3))
vgg16_model = Model(inputs=vgg16_model.input, outputs=vgg16_model.get_layer('block5_conv3').output)
x = vgg16_model.output
x = GlobalAveragePooling2D()(x)
predictions = Dense(num_classes, activation='softmax')(x)
vgg16_custom_model = Model(inputs=vgg16_model.input, outputs=predictions, name='vgg16_cnn')
vgg16_custom_model.summary()
# %%
#declaring image data generators, make sure to delcare shuffle=False
train_datagen = ImageDataGenerator(
        rescale=1./255,
        validation_split=0.2)
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(
        # This is the target directory
        train_data_dir,
        target_size=(256, 256),
        batch_size=batch_size,
        class_mode='categorical',
        subset='training')
validation_generator = train_datagen.flow_from_directory(
        # This is the target directory
        train_data_dir,
        target_size=(256, 256),
        batch_size=batch_size,
        class_mode='categorical',
        subset='validation')
test_generator = test_datagen.flow_from_directory(
        test_data_dir,
        target_size=(256, 256),
        batch_size=batch_size,
        class_mode='categorical',shuffle=False)
#identify the number of samples
nb_train_samples = len(train_generator.filenames)
nb_validation_samples = len(validation_generator.filenames)
nb_test_samples = len(test_generator.filenames)
#check the class indices
train_generator.class_indices
validation_generator.class_indices
test_generator.class_indices
# %% compile and train for VGG16
sgd = SGD(lr=0.0001, decay=1e-6, momentum=0.9, nesterov=True)  
vgg16_custom_model.compile(optimizer=sgd,loss='categorical_crossentropy',metrics=['accuracy']) #optimizer=Adam() is another option
filepath = 'weights/' + vgg16_custom_model.name + '.{epoch:02d}-{val_acc:.4f}.hdf5'
checkpoint = ModelCheckpoint(filepath, monitor='val_acc', verbose=1, 
                             save_weights_only=True, save_best_only=True, mode='max', period=1)
tensor_board = TensorBoard(log_dir='logs/', histogram_freq=0, batch_size=batch_size)
callbacks_list = [checkpoint, tensor_board]
vgg16_history = vgg16_custom_model.fit_generator(
      train_generator,
      steps_per_epoch=nb_train_samples // batch_size, #no. of training samples / batch_size
      epochs=epochs,
      validation_data=validation_generator,
      callbacks=callbacks_list,
      validation_steps=nb_validation_samples // batch_size, #no. of validation samples / batch size
      verbose=1)
...