Как предварительно обработать образ для keras.VGG19?

Question

Я пытаюсь обучить модель keras VGG-19 на изображениях RGB, при попытке прямой передачи возникает эта ошибка:

ValueError: Input 0 of layer block1_conv1 is incompatible with the layer: expected ndim=4, found ndim=3. Full shape received: [224, 224, 3]

При изменении формы изображения на (224, 224, 3, 1) на включить пакетное затемнение, а затем продвигаться вперед, как показано в коде, возникает эта ошибка:

ValueError: Dimensions must be equal, but are 1 and 3 for '{{node BiasAdd}} = BiasAdd[T=DT_FLOAT, data_format="NHWC"](strided_slice, Const)' with input shapes: [64,224,224,1], [3]

for idx in tqdm(range(train_data.get_ds_size() // batch_size)):
    # train step
    batch = train_data.get_train_batch()
    for sample, label in zip(batch[0], batch[1]):
        sample = tf.reshape(sample, [*sample.shape, 1])
        label = tf.reshape(label, [*label.shape, 1])
        train_step(idx, sample, label)

vgg инициализируется как:

vgg = tf.keras.applications.VGG19(
                            include_top=True,
                            weights=None,
                            input_tensor=None,
                            input_shape=[224, 224, 3],
                            pooling=None,
                            classes=1000,
                            classifier_activation="softmax"
                        )

обучающая функция:

@tf.function
def train_step(idx, sample, label):
  with tf.GradientTape() as tape:
    # preprocess for vgg-19
    sample = tf.image.resize(sample, (224, 224))
    sample = tf.keras.applications.vgg19.preprocess_input(sample * 255)

    predictions = vgg(sample, training=True)
    # mean squared error in prediction
    loss = tf.keras.losses.MSE(label, predictions)

  # apply gradients
  gradients = tape.gradient(loss, vgg.trainable_variables)
  optimizer.apply_gradients(zip(gradients, vgg.trainable_variables))

  # update metrics
  train_loss(loss)
  train_accuracy(vgg, predictions)

Мне интересно, как должен быть отформатирован ввод, чтобы реализация keras VGG-19 приняла его?

Answer 1

Вам нужно будет сжать одно измерение, чтобы превратить вашу форму в [1, 224, 224, 3':

for idx in tqdm(range(train_data.get_ds_size() // batch_size)):
    # train step
    batch = train_data.get_train_batch()
    for sample, label in zip(batch[0], batch[1]):
        sample = tf.reshape(sample, [1, *sample.shape])  # added the 1 here
        label = tf.reshape(label, [*label.shape, 1])
        train_step(idx, sample, label)

Answer 2

Вы используете неправильный размер для пакета изображений: «При изменении формы изображения на (224, 224, 3, 1) для включения пакетного затемнения» - это должно быть (x, 224, 224, 3), где x - количество изображений в пакете.