Архитектура, которую я пытаюсь реализовать, находится здесь: Архитектура модели, адаптированной к данным пациента: ResNet-50 .Мои изображения разделены на папки по меткам:
root/
├── train/
│ ├── class1/
│ ├── class2/
│ ...
│
└── validation/
├── class1/
├── class2/
...
У меня также есть файл CSV, который содержит имя изображения, метки изображения (изображение может иметь несколько меток классов) и дополнительную информацию:
+--------+---------------+-------+------+
| File | Labels | Info1 | Info2 |
+-------+---------------+-------+-------+
| 1.png | class1 | 0.512 | 1 |
| 2.png | class2 | 0.4 | 0 |
| 3.png | class1|class2 | 0.64 | 1 |
+-------+---------------+-------+-------+
Моя сетевая модель имеет два входа: один, который будет использоваться для обработки изображения, и другой, который будет соединяться с последним слоем перед плотным слоем:
input_shape = (img_height, img_width, 1)
img_input= Input(input_shape)
vec_input = Input((2,))
res = ZeroPadding2D((3, 3))(img_input)
# Processing ...
res = Flatten()(res)
res = Concatenate()([res, vec_input])
res = Dense(classes, activation='softmax', name='fc' + str(classes))(res)
Чтобы получить изображенияЯ использую ImageDataGenerator с flow_from_directory, который прекрасно работает для получения только данных изображения:
validation_datagen = ImageDataGenerator(rescale=1. / 255)
validation_generator = validation_datagen.flow_from_directory(
validation_dir,
target_size=(target_size, target_size),
batch_size=batch_size,
class_mode=class_mode,
color_mode=color_mode)
# Similarly for the train data generator ...
# Train the model using above defined data generators
history = model.fit_generator(
train_generator,
epochs=epochs,
validation_data=validation_generator)
Теперь мне нужно использовать дополнительную информацию для каждого изображения в качестве vec_input в моей модели.Я смотрел на использование flow_from_dataframe и создание пользовательских генераторов, но не уверен, как это сделать.Я могу реструктурировать изображения, поместив их в ту же папку, если это необходимо, хотя тогда я полагаю, что не могу использовать flow_from_directory.Любые идеи о том, как я могу этого достичь?
РЕДАКТИРОВАТЬ:
Если кому-то нужно решение, вот что я смог придумать:
class CustomSequenceGenerator(Sequence):
def __init__(self, image_dir, csv_file_path, label_path, dim=448, batch_size=8,
n_classes=15, n_channels=1, vec_size=3, shuffle=True):
# Keras generator
self.image_dir = image_dir
self.image_file_list = os.listdir(image_dir)
self.batch_size = batch_size
self.csv_file = pd.read_csv(csv_file_path)
self.n_classes = n_classes
self.dim = dim
self.n_channels = n_channels
self.shuffle = shuffle
self.vec_size = vec_size
self.labels = get_class_labels(label_path)
self.labels_dict = dict(zip(self.labels, range(0, len(self.labels))))
self.csv_file.set_index('File', inplace=True, drop=True)
def __len__(self):
"""It is mandatory to implement it on Keras Sequence"""
return int(np.ceil(len(self.image_file_list) / float(self.batch_size)))
def __getitem__(self, index):
# Generate indexes of the batch
samples = self.image_file_list[index * self.batch_size:(index + 1) * self.batch_size]
x, y = self.__data_generation(samples, index)
return x, y
def __data_generation(self, samples, start_index):
x_batch_image = np.empty((self.batch_size, self.dim, self.dim, self.n_channels))
x_batch_vector = np.empty((self.batch_size, self.vec_size))
y_batch = np.empty((self.batch_size, self.n_classes))
self.csv_file.reindex()
for i, sample in enumerate(samples):
image_file_path = self.image_dir + "/" + sample
image = self.preprocess_image(Image.open(image_file_path), 448)
features, labels = self.preprocess_csv(self.csv_file, sample, self.labels_dict, self.n_classes)
x_batch_image[i] = image
x_batch_vector[i] = features
y_batch[i] = labels
return [x_batch_image, x_batch_vector], y_batch